1
TESTES ESTATÍSTICOS UTILIZADOS EM TRABALHOS
CIENTÍFICOS APRESENTADOS NOS CONGRESSOS
INTERNACIONAIS DE EDUCAÇÃO A DISTÂNCIA DA
ABED (2001 A 2011)
Recife – PE – Abril 2012
Otacilio Antunes Santana – Universidade Federal de Pernambuco –
[email protected]
Euzelina dos Santos Borges Inácio – Universidade Federal de Pernambuco –
[email protected]
José Imaña Encinas – Universidade de Brasília – [email protected]
Pesquisa e Avaliação
Métodos de Pesquisa em EAD e Transferência de Conhecimento
Formas de Assegurar a Qualidade
Características de Aprendizes
Relatório de Pesquisa
Investigação Científica
RESUMO
As análises e testes estatísticos são poucos utilizados nos artigos e trabalhos
científicos na área das ciências humana, principalmente na área de educação e
consequentemente em pesquisas com educação a distância. Este fato se deve
principalmente pela dificuldade do pesquisador definir a variável amostral ou o
grupo experimental, ou pela própria formação deste pesquisador, que não
passa por disciplinas de estatística aplicada em sua formação universitária,
como nos cursos de licenciatura. Com isso os objetivos específicos deste
trabalho foram: i) enumerar; ii) classificar; e observar tendências ao passar dos
anos dos testes e análises estatísticas em trabalhos científicos publicados no
Congresso Internacional de Educação a Distância da ABED, de 2001 a 2011.
Os dados sugeriram um crescimento significativo, direto e proporcional das
apresentações de trabalhos científicos no Congresso Internacionais de
Educação a Distância da ABED, no período avaliado (2001-2011),
diferentemente dos trabalhos com testes e análises estatísticas, sendo que em
sua maioria, foram medidas de tendência central.
Palavras chave: delineamento experimental; grupo amostral; variáveis
2
1 - Introdução
Os testes estatísticos são utilizados para se observar as medidas de
tendência de um conjunto de dados, comparar hipóteses em diferentes grupos
experimentais, testar diferenças entre grupos amostrais em um delineamento
experimental, ajustar dados em um fator de dependência entre as variáveis,
agrupar amostras em determinadas variáveis, classificar redes amostrais e
outros[1]. Estas utilizações são importantes no processo decisivo para aceitação
ou refutação frente a uma hipótese científica, hipótese esta que se mescla com
a estatística[2].
No tronco das ciências e no plano cartesiano, sistematizada por
Descarte, as ciências exatas e biológicas: física, matemática, biologia e outras,
foram as ciências na qual poderiam ser sistematizadas e experimentadas,
sendo quantificadas e comprovadas por teste numéricos[3].
Nas Ciências Humanas, não só o objeto de estudo, como o que se
teoriza na maioria das vezes, são elementos qualitativos sem uma métrica
exata para mensuração[4]. A partir do século XIX sistematizações de algumas
variáveis no campo das ciências humanas foram delimitadas, para ser
quantificar e para ser ter uma hipótese estatística nos trabalhos científicos.
Como exemplo, foi a mensuração da quantidade de sentimento emitidas por
humanos e animais, através estímulos pré-determinados (choque, alimento,
luz, frio, calor, etc), ou, por exemplo, a mensuração de uma aprendizagem por
reprodução de um conhecimento apresentado[5].
Na área do conhecimento em educação, vários trabalhos se apropriaram
para mensurar comportamentos e respostas de aprendizagem e analisar
através de hipóteses estatísticas[6], e em suas sub-áreas, como: gestão
escolar[7], sociologia da educação[8;
da educação[10],
24]
, antropologia educacional[9], economia
psicologia educacional[11]; administração de sistemas
educacionais[12]; métodos e técnicas de ensino[13]; e tecnologia educacional[14].
Apesar de haver análises estatísticas, muitos trabalhos se reportam a
estatísticas descritivas e medidas de tendências, e quando se há testes de
hipóteses ou outros testes, o delineamento experimental não parece suficiente
3
para atender alguns requisitos do experimento [15]. Isto se deve principalmente
pela formação do aluno de graduação em diversas áreas do conhecimento,
exceto ciências exatas, ter tido uma formação em estatística ou básica (apenas
o fundamento, sem a apresentação de delineamentos experimentais e seus
testes), ou desmotivadora e não aplicável, ou com erros de premissa (erros nos
requisitos de cada teste)[16].
Inserido a estas investigações e ao avanço tecnológico, a modalidade de
ensino e aprendizagem aberta e a distância (EAD) surge como uma solução a
gargalos encontrados na gestão educacional: o fator espacial e o fator
temporal[17]. Muitos candidatos a aprendizes se situam distantes fisicamente do
ambiente escolar ou não possuem tempo para estarem cursando no horário
letivo determinados cursos. Esta modalidade é antiga, contextualizada deste o
surgimento da escrita (ensinamentos e informações em pinturas rupestres),
passando pela bíblia (epístolas de São Paulo aos Corintos), e a educação nas
gerações
contemporânea
por
correspondências,
rádios,
televisão,
computadores e os sistemas móveis de comunicação (celulares, tablets, pdas,
etc.)[18].
As pesquisas envolvendo a EAD são dadas como ferramentas de gestão
educacional para a melhoria na qualidade e na certificação dos ambientes de
ensino para uma significativa aprendizagem dos conteúdos pelos alunos
formados[19]. Com isso a execução de pesquisas experimentais e com um
delineamento que possa explicitar respostas concretas a algumas hipóteses,
poderia certificar e ser corroboradas pela utilização de testes e análises
estatísticas[16].
Dentro deste contexto, no Brasil, surge em 1995 a Associação Brasileira
de Educação a Distância (ABED), com os objetivos de: i) estimular a prática e o
desenvolvimento de projetos em educação à distância em todas as suas
formas; ii) incentivar a prática da mais alta qualidade de serviços para alunos,
professores, instituições e empresas que utilizam a educação a distância; iii)
apoiar o conhecimento do país procurando reduzir as desigualdades causadas
pelo isolamento e pela distância dos grandes centros urbanos; iv) promover o
aproveitamento de "mídias" diferentes na realização de educação a distância; e
4
v) fomentar a criatividade, inovação, de credibilidade e de experimentação na
prática da educação a distância[20].
As reuniões da ABED se consumaram nos encontros da ABED, que
surgiram em 1993, com 17 edições, sendo que em 2001 se tornaram
congressos internacionais devido a intensa presença de palestrante e
congressistas estrangeiros, e trabalhos científicos de outros países[21]. No ano
de 2006, foi o único ano que não teve o congresso internacional da ABED,
devido ao congresso organizado neste ano pela ABED do Conselho
Internacional de Educação Aberta e a Distância (ICDE – International Council
for Open and Distance University) no Brasil.
Conforme o apresentado, neste trabalho foi hipotetizado que a utilização
de testes e análises estatísticas nos trabalhos científicos publicados nos
Congressos Internacionais de Educação a Distância da ABED, de 2001 a 2011,
não apresentam um crescimento significativo; e com isso o objetivo geral deste
trabalho foi quantificar e avaliar os testes estatísticos utilizados nos trabalhos
científicos neste congresso. Os objetivos específicos foram: i) enumerar; ii)
classificar; e observar tendências ao passar dos anos dos testes e análises
estatísticas em trabalhos publicados no Congresso Internacional de Educação
a Distância da ABED.
2 - Materiais e Métodos
As informações coletadas foram quais os testes e análises estatísticas
utilizadas
nos
trabalhos
científicos
apresentados
nos
Congressos
Internacionais de Educação a Distância da ABED (Associação Brasileira de
Educação a Distância). As bases de dados foram as páginas eletrônicas que
trazem os trabalhos científicos apresentados dos Congressos de 2001 a 2011
(Tabela 1).
Análise de regressão foi efetuada entre a frequência de trabalhos totais
e os trabalhos que utilizaram testes e análises estatísticas, com o período
levantando (2001 a 2011), para o ajuste dos dados, para o cálculo do valor do
coeficiente de determinação da regressão (R2) e do valor de p[22].
5
Tabela 1. Base de dados para recuperação da informação.
Ano
2001
2002
2003
2004
2005
2007
2008
2009
2010
2011
Página Eletrônica
www.abed.org.br/congresso2001
www.abed.org.br/congresso2002
www.abed.org.br/congresso2003
www.abed.org.br/congresso2004
www.abed.org.br/congresso2005
www.abed.org.br/congresso2007
www.abed.org.br/congresso2008
www.abed.org.br/congresso2009
www.abed.org.br/congresso2010
www.abed.org.br/congresso2011
3 - Resultados e Discussão
A partir de 2001, o número de trabalhos científicos apresentados nos
Congressos Internacionais de Educação a Distância da ABED aumentaram
visto os resultados apresentados na Tabela 2 e Figura 1, justificados pelo o
aumento do número de participantes, cerca de 400 %, de 2001 a 2011, e pelo
aumento do número de cursos e pessoas envolvidas nesta modalidade de
ensino e aprendizagem[23].
Tabela 2. Total de trabalhos científicos apresentados nos Congressos Internacionais de
Educação a Distância da ABED, de 2001 a 2011, e quantos utilizaram testes estatísticos, com
sua porcentagem relativa.
Ano
2001
2002
2003
2004
2005
2007
2008
2009
2010
2011
Total de trabalhos
55
60
116
119
198
159
161
219
170
173
Utilizaram Testes
9
4
9
12
27
15
9
34
17
36
%
16,36
6,66
7,75
10,08
13,63
9,43
5,59
15,52
10,00
20,80
Na Figura 1, ficou evidente a tendência de crescimento direto e
proporcional das apresentações de trabalhos científicos no Congresso com o
passar dos anos analisados, certificado pelo resultado significativo da análise
6
de regressão (R2 = 0,91; p < 0,001). Já os trabalhos com testes e análises
estatísticas não acompanharam este crescimento, não havendo uma relação
significativa
com
o
período
avaliado
(R2
=
0,16;
p
=
0,139),
e
consequentemente não havendo uma proporcionalidade.
Figura 1. Número total de trabalhos científicos apresentados nas edições dos Congressos
Internacionais de Educação a Distância da ABED (2001-2011) e os que possuem testes e
análises estatísticas. Linhas representam ajustes de tendência dos dados em relação ao tempo
e coeficiente de determinação da Análise de Regressão.
Os trabalhos que apresentaram testes e análises estatísticas em sua
maioria (85 %) utilizaram apenas a medida de tendência central (média, desvio
padrão, erro padrão, mediana, etc.), 8,5 % análises entre grupos amostrais e
6,5 % análises entre variáveis (Figura 2).
Estes dados podem refletir a dificuldade dos pesquisadores em
estabelecer os grupos amostrais e variáveis para serem quantificadas dentro
do campo das ciências humanas e consequentemente na área de
conhecimento da educação e da educação a distância[6]. Quantificar variáveis
como “aprendizagem” e “sucesso na educação” é bastante discutida na
literatura. Utilizar parâmetros de notas finais nas avaliações e quantidades de
7
certificados obtidos por determinado curso são critérios em que os teóricos em
educação ainda resistem[24].
Outra variável bastante discutida é a satisfação do professor e aluno
frente ao processo de ensino-aprendizagem, os atores podem até está
satisfeito com os métodos e com o ambiente, mas podem não estar
aprendendo e construindo o conhecimento pretendido[19; 24].
Figura 2. Frequência e quais os testes e análises estatísticas utilizadas nos trabalhos
científicos apresentados nas edições dos Congressos Internacionais de Educação a Distância
da ABED (2001-2011). MTC = medida de tendência central.
Alguns autores defendem que censos e estatísticas guiam a política e a
gestão educacional mais do que a teoria, e que a coleta de dados e o
constante
delineamento
experimental
da
pesquisa-ação,
são
peças
fundamentais para a posterior qualificação no campo da educação a
distância[24]. Um dos maiores guias da EAD no Brasil é o CensoEAD.BR,
publicado anualmente pela ABED, pois direcionam demandas e ofertas para os
atores deste tipo de educação[23].
Não só esta quantificação direcionada ao planejamento e administração
da equação, mas a quantificação em pesquisa para certificação das inferências
8
entre grupos amostrais ou entre as variáveis que implicam em uma criação de
hipóteses de nulidade[16]. Para isto se é necessário um delineamento
experimental na qual se permita que o pesquisador teste a relação de causa e
efeito, e isto em educação, não só com alunos, podem ser utilizadas diversas
maneiras, como por exemplo, entre metodologias educacionais aplicadas,
gênero, índice de desenvolvimento humano, idade, espacialidade, clima, etc
13]
[9;
.
4 – Considerações Finais
Os dados sugeriram um crescimento significativo, direto e proporcional
das apresentações de trabalhos científicos no Congresso Internacionais de
Educação
a
Distância
da
ABED,
no
período
avaliado
(2001-2011),
diferentemente dos trabalhos com testes e análises estatísticas, sendo que em
sua maioria, foram medidas de tendência central.
Os dados deste trabalho faz recomendar disciplinas que ajudem os
alunos de licenciatura e pesquisadores da área experimental em educação na
elaboração e sistematização quantitativa, definindo variáveis e modelos
experimentais para se ter resultados (publicações científicas) que atestem suas
hipóteses de nulidade com análises e testes estatísticos.
Referências
[1]
ZAR, J. H. Biostatistical analysis. 4th. ed. New Jersey: Prentice Hall, c1999.
xii, 663 p.
[2]
IM S.; YIN, Y. Diagnosing skills of statistical hypothesis testing using the Rule
Space Method. Studies In Educational Evaluation, v. 35, n. 4, p. 193-199,
2009.
[3]
DESCARTES, R. Descartes: Discurso do método: as paixões da alma;
meditações. São Paulo: Nova Cultural, 2000. 335 p.
9
[4]
BLANKE, T.; HEDGES, M.; DUNN, S.
Arts and humanities e-science—
Current practices and future challenges. Future Generation Computer
Systems, v. 25, n. 4, p. 474-480, 2009.
[5]
LEVI, A. W.. The Humanities Today, Indiana University Press, Bloomington,
1970
[6]
CONWAY, C. M.; BAUERNSCHMIDT, A.; HUANG, S. S., PISONI, D. B.
Implicit statistical learning in language processing: Word predictability is the
key. Cognition, v. 114, n. 3, p. 356-371, 2010.
[7]
ASHLEIGH, M.; OJIAKO, U.; CHIPULU, M.; WANG, J. K. Critical learning
themes in project management education: Implications for blended learning.
International Journal of Project Management, v. 30, n. 2, p. 153-161, 2012.
[8]
DEKKER, S. Complexity, signal detection, and the application of ergonomics:
Reflections on a healthcare case study. Applied Ergonomics, v. 43, n. 3, p.
468-472, 2012.
[9]
JACOBS, W. J.; SISCO, M.; HILL, D.; MALTER, F.; FIGUEREDO, A. J.
Evaluating theory-based evaluation: Information, norms, and adherence.
Evaluation and Program Planning, v. 35, n. 3, p. 354-369, 2012.
[10]
GOMORY, R. E.; BAUMOL, W. J. Trade, education, and innovation:
Prospects for the U.S. economy. Journal of Policy Modeling, v. 33, n. 5, p.
682-697, 2011.
[11]
THOMPSON, B. The “significance” crisis in psychology and education.
Journal of Socio-Economics, v. 33, n. 5, p. 607-613, 2004.
[12]
COSTA, C. A. B.; OLIVEIRA, M. D. A multicriteria decision analysis model for
faculty evaluation. Omega, v. 40, n. 4, p. 424-436, 2012.
[13]
RAZON, S.; TURNER, J.; JOHNSON, T. E.; ARSAL, G.; TENENBAUM, G.
Effects of a collaborative annotation method on students’ learning and learningrelated motivation and affect. Computers in Human Behavior, v. 28, n. 2, p.
350-359, 2012.
[14]
WOLFF, W. I. “A chimera of sorts”: Rethinking educational technology grant
programs, courseware innovation, and the language of educational change.
Computers & Education, v. 51, n. 3, p. 1184-1197, 2008.
10
[15]
NISKANEN, V. A. Prospects for soft statistical computing: describing data
and inferring from data with words in the Human Sciences. Information
Sciences, v. 132, n. 1–4, p. 83-131, 2001.
[16]
GIBBONS, J. M.; CROUT, N. M. J.; HEALEY, J. R. What role should null-
hypothesis significance tests have in statistical education and hypothesis
falsification? Trends in Ecology & Evolution, v. 22, n. 9, p. 445-446, 2007.
[17]
NICHOLSON, S. Socialization in the “virtual hallway”: Instant messaging in
the asynchronous Web-based distance education classroom . The Internet and
Higher Education, v. 5, n. 4, p. 363-372, 2002.
[18]
TAVUKCU, T.; ARAP, I.; ÖZCAN, D. General overview on distance education
concept. Procedia - Social and Behavioral Sciences, v. 15, p. 3999-4004,
2011.
[19]
ROVAI, A. P.; DOWNEY, J. R. Why some distance education programs fail
while others succeed in a global environment. The Internet and Higher
Education, v. 13, n. 3, p. 141-147, 2010.
[20]
ABED – Associação Brasileira de Educação a Distância. Objetivos.
Disponível: <www.abed.gov.br>. Acesso 05 de janeiro de 2012a.
[21]
ABED – Associação Brasileira de Educação a Distância. Congressos.
Disponível: <www.abed.gov.br/congresso2011>. Acesso 05 de janeiro de
2012b.
[22]
STATSOFT. Statistic for Windows 8.0. Tulsa: StatSoft Inc., 2008.
[23]
ABED – Associação Brasileira de Educação a Distância. CensoEAD.br:
relatório analítico da aprendizagem a distância no Brasil 2010. São Paulo:
Pearson Education. 2011. 138p.
[24]
SANTANA, O. A.; IMAÑA-ENCINAS, J. Pedagogia construtivista na
disciplina metodologia da pesquisa florestal, com a utilização do ambiente
virtual Moodle. Revista de Ensino de Engenharia, v. 26, p. 8-13, 2007.