A CONSISTÊNCIA INTERNA DE TESTES
COM ITENS DE ESCOLHA
MÚLTIPLA E A CORREÇÃO PARA
O ACERTO CASUAL
Fernando Lang da Sibeira
PROBLEMA
OStestes constituídos por itens de Escolha Múltipla sempre oferecem ao indivíduo que os
responde uma chance de acerto ao acaso; mesmo que o indivíduo desconheça completamente o
conteúdo do item, poderá escolher por acaso a alternativa correta. A chance de acerto ao acaso
M i u i com o aumento do ninnero de alternativas nos itens; ela é máxima em itens do tipo Falseverdadeiro.
O acerto casual é uma fonte de erro de medida, contribuindo para a diminuição da consii
tbncia interna do teste (Guiiford, 1975). O coeficiente de fidedignidade do escore total em t e i
tes com itens de EM aumenta com o aumento do número de alternativas nos itens (Nunndly,
1967); essa é uma conclusão de teoria das medidas pdcoeducacionais que já foi sobejamente veri.
ficada em diversos experimentos.
A literatura especializada em medidas psicoeducacionais apresenta diversas propostas que
visam a superar o problema do acerto casual. Entre elas encontrase uma correção do escore total
no teste por descontar uma fração do número de resposias erradas nos itens (Guilford, 1975;
Nunnally, 1967;Thondike, 1969; Vianna, 1973). A correção é realizada através da seguinte
equação:
Tc = T -.E/(k-1)
Tc - ESCOEtotal CümgidO.
T -Escore total bruto ou número total de itens respondidos acertadamente.
E - @úmero total de itens respondidos erradamente.
k - Número de alternativas nos itens.
Os itens que são omitidos (ou seja, que o indivíduo deixa de responder) não são computados em E, sendo apenas considerados errados.
*
Do Instituto de Física da PUCRS;Instituto de Física da WRGS.
Essa correç%opresume que qualquer resposta errada seja o resultado da tentativa sem sues
so de acerto casual e também que todas as alternativas sejam igualmente atraentes para o aluno
que não conhece a resposta correta (Thomdike, 1969).
Na literatura encontram-se opiniões diversas sobre a utiiizsção ou não dessa correção. A
argumentação contrária a utiiizsçH6 da correção usualmente se dá por alegar que os pressupostos
(citados no parágrafo anterior) não são realmente preenchidos. Outro argumento é de que a correção pode introduzir fatores indesejáveis no teste, tais como a insegurança do respondente (Guilford, 1975).
Nunnaüy (1967) nota que a correção tende a subestimar a chance de acerto casual pois entre as alternativas incorretas (distraidores) normalmente existe uma ou mais que são facilmente
descartadas; ou seja, é muito difícil redigir distraidores igualmente eficientes.
Um dos argumentos a favor dautiuzação da correção é que ela combate um hábito intelectual pobre (Nunnaüy, 1967): o hábito do “chute”.
O presente trabdho investipa através de três experimentos se a correçXo para acerto casual
afeta a consistência interna de testes de EM e Resposta única. Esses testes abrangem conteúdos
de Física Geral do 3 0 p u .
l? EXPERIMENTO
Foi aplicado um teste constituídn por 24 itens de EM, com 4 alternativas por item, a
278 alunos da disciplina de Fisica Geral e Experimental I1 (Eletromwetismo) da PUCW.
Desse totoal, 148 alunos responderam ao teste sendo instruidos para n%o“chutar” pois seria u a zada a correção para acerto casual; os restantes 130 indivíduos responderam ao mesmo teste sem
a instnição.Como foram envolvidas 5 turmas da referida disciplina e para evitar que possíveis diferenças sitemáticas entre as turmas invalidassem o experimento, os dois grupos f o m obtidos
por amostragem aleatória estratifkada por turma. Em outras palavras, no grupo experimental e
no gnipo de controle havia alunas das 5 turmas.
Os resultados foram submetidas a uma anPse de consistência interna, calculando-se os
coeficientes de correlação item-total tanto na versá0 do teste com a correção para acerto casual,
quanto na outra versão. Como o acerto casual é uma fonte de erro de medida, a correção deve
afetar os coeficientes de correlação item-total, evidenciando uma consisthcia interna mais elevada o m o teste onde ela é aplicada. Em outras palavras, a liip6tese a ser testada com esse experimento pode assim ser formulâda:
O valor médio do coeficiente de correlação item-total no teste com a correção para acerto
casual é mais elevado do que no teste sem a correção.
Os resultados obtidos confirmaram a hipótese pois o valor médio do coeficiente de c o m
lação item-total no teste com a correção foi 0,448 e no outro 0,376. A diferença entre as duas
médias é ehtatisticamente significativa em nível inferior a 0,05 pois o escore t obtido foi 2.55.
20 e 3? EXPERIMENTO
Conforme já citado anteriormente, o número de alternativas nos itens afeta a consistência
interna dos testes. Se dois testes diferirem apenas no número de alternativas nos itens, deverá
apresentar consisténcia interna maior aquele com o maior número de alternativas.
Para a disciplina de Física Geral 11 (Mecânica) da UNISINOS foram elaborados dois testes
de EM com vinte itens. A única diferença entre os dois testes estava no número de alternativas
dos itens; um possuia itens com 5 alternativas e o outro com 3 alternativas. Ambos continham
a instrução para evitar o “chute” pois seria aplicada a correção para acerto casual.
O teste com itens de 5 alternativas foi respondido por 57 alunos e o outro por 59 alunos.
i3s dois grupos foram constituidos através de amostragem aleatória estraüficada por turma (3
turmas da referida discip!ina participaram do experimento).
Para a disciplina de Física Geral e Experimental I1 (Eletromagnetismo) da PUCRS também
foram elaborados dois testes de EM com vinte itens. A Única diferença entre os dois testes estava
no número de alternativas por item; um p o w í a itens com 5 alternativas e o outro com 3 alternativas. Em ambos havia a instrução para evitar o “chute” pois seria aplicada a ComeçEo para acerto
CWd.
O teste com itens de 5 alternativas foi respondido por 82 alunos e o ouko por 72 alunos.
Os dois grupos foram constituidos por amostragem aleatória estratificada por turma (3 turmas da
referida disciplina participaram do experimento).
A hipótese a ser testada com esses dois experimentospode assim ser enunciada:
O d o r médio do coeficiente de correlnção itemtotal nos dois testes é o mesmo.
Os coeficientes de correlação item-total médios no 10 experimento foram 0,362 (3 alternativas) e 0,358 (5 alternativas). A diferença entre as duas médias não apresentou signiiicância estatística pois o escore t obtido foi 0,14.
No segundo experimento os valores médios obtidos foram 0,484 (3 alternativas.) e 0,421
( 5 alternativas). Também e m diferença não apresentou significância estatística pois o escore t
obtidofoi 122.
Nota-se nos dois experimentos uma diferença a favor do teste com 3 alternativas. Apesar
de não apresentar si@Xncia estatfsticii, m a diferença poderia estar indicando uma vantagem
quando os itens Sgo com 3 alternativa e é aplicada a correç%opara acerto casual. Merece esse fato
ser estudado em experimentos mais sensíveis, com testes constituidos por um maior número de
itens.
Se realmente o teste com 3 alternativas se torna mais consistente que o teste com 5 altemativas nos itens, a explicação desse fato talvez se encontre na colocação feita por Nunnally de que
a correção subestima a diante de acerto casual. Certamente é mais fácil redigir 2 distraidores
plausíveis do que 4 distraidores plausíveis.
CQNCLUSÁQ
Os três experimentos realizados permitiram notar que a correção para acerto casual afeta
positivamente a consistência interna dos testes. Sob esse aspecto parece ser váiida a utilização da
correção para acerto casual.
BIBLIQGRAFLI
GUILFORD, J.P. (1Y75). Aychomemc Metltods 2? ed. Tata McGraw-W, New Deihi, 597 p&
NUNNALLY, J.C.(1967). Psychometné Theoiy. McGrsw-Hill ínc., New York, 640 pág.
THORNDME, R.L.e HAGEN, E. (1969). Measuretrient andEwiluation m Psychology and Education. 3! ed. John Wley, New York. 705 pág.
ViANN.4, H.M.(1973). Testes em Educação. BRASA, São Paulo, 209 pQ.
91
EDUCAÇAO E SELEÇAO
O primeiro número desta revista mo/1980), fora de comércio, reproduziu comuNcaçóes realizadas em Seminsrio sob= “Acesso A Universidade: problemas de seieqTo”, realizado sob os
auspfcios da Fundação Carlos chagas, em 14 e 15 de maio de 1980,conforme se vé pelo seu índice, abaixo reproduzido:
- APRESENTAÇÃO (Wma Fagundes Sanchez)
- ACESSO A UNIVERSIDADE:seulsignificadoe iniplicaçães(Ado1pho Ribeuo Netto)
- ACESSO A UNIVERSIDADE E MUDANÇA EDUCACIONAL: a perspectiva do MEC (Ta.
císio Della Senta)
- O VESTIBULAR NO CONTEXTO EDUCACIONAL (Manoel Luiz LeaO)
- ACESSO A UNNERSiüADE: reflexão sobre problemas atuais (Heraido Marehn V i a )
- A UTILIZAÇKO DE PROVAS OBJETIVAS EM m G U A PORTUGUESA (Lygia Cméa Dias
de Moraes)
- A LITERATURA BRASiLEIRA NOS CONCURSOS VESTIBULARES: Problemas de Avaliação ( h a u r i M.T. Sanchez)
- A EWE&NCIA
DA REDAÇKO NO ACESSO A UNIVERSDADE (Flávia de Barros
Carone)
- AS EXPECTATIVAS DA UNIVERSIDADE E O ENSWO DE 20 GRAU ( m a Bninilda Ç d o
Laurito)
Exempiares desse número ainda se encontram disponíveis nesta data: se o leitor se interessar em
recebê-lo, basta solicitar medianie o envio do formuiário abaixo para:
EDUCAÇÃOE SELEÇAO
Fundação Cados Chagas
Av. Rof. Francisco Morato, 1565
055 13 - São Paulo -- SP
..............................
<........._..........._..,
(corte aqui)
EDUCAÇAO E SELEÇAO - Revista de estudos e pesquisas sobre seleção de recursos humanos.
Desejo receber, sem qualquer despesa, o n? 1 de EDUCAÇÃOE SELEÇAO:
Nome:
Endesço:
Bairro:
CEF?
C.P.
Fone:
Cidade:
Estado:
~
~~
Composição, revisões tipográf~cas,arte fmal e fotolitos: Transtipo S/C
Ltda. Rua Caiubi, 576 - Fone: 2624022 - CEP O5010 - Perdizes SKo Paulo - SP. ImpressKo e acabamento: Rumo Grafca Editora Ltda.
Rua Dr. Horácio da Costa, I-A. Fone: 216.9537 -Jardim V i Formosa
- São Paulo - SP.
92
REVISTA de ESTUDOS e PESQUISAS sobre SELEGO de RECURSOS EiüMANOS
JULHO de 1980
ANO I - NVl
-
MRESENTAÇKO
-
ACESSO 2 IJNIVERSIDADE: aeu significado e implicações ...........
-
ACESSO 2 UNIVERSIDADE e MUDANÇA EDUCACIONAL: a perspectiva
............................................................................................................
5
Vilma Fagundes Çancher
9
Adolpho Ribeiro Netto
.............
................................................................................................
do M3C
"
Tarcíaio Della Santa
27
DEBATES ................................................................................................................................
-
-
31
..................................................
aobce p m b l m atuais ..........
O VESTIBULAR no CONTEXTO BDUCACXONAL
mnoei
ACESSO
L U ~ ELeão
?
UNIVERSIDADE:
i
refl&
49
61
Eernldo Wirelim Vianna
DEBATES ................................................................................................................................
-
73
A WTILIZAÇAO de PROVAS OEYETIYAS em LINGUA PORTUGUESA ..........
A LITERATURA BRASILEIRA nos CONCURSOS VESTIBULARES: ProbleI
........................................................................................................
91
..........
111
m a de Avaliaçaa
h u r i M.T. Sanchez
A EXPERIENCIA de UEDAÇAü no ACESSO i UNIVERSIDADE
Fl6Via de Barros Carone
AS EXPECTATIVAS da IJNIVERSIDAOE e o ENSINO DE
29
GRAU
Ilka Brunilda Gallo Laurito
..........
DEBATES ................................................................................................................................
-
79
Lygin Correa Dias de nlotaes
~ 0 ~ ~ 1 n S aeo k
e d a ç õ e s
BO Seminário sobre
Participaates do Seminário sobre Acesso
EDüCAÇAO E SELECAO
--
nV 1
Acesso ã Universidade
Wversid.de
-
..............
julho de 1930
121
131
..
135
143
FUNDAÇsjb EARLOS CHAME
DEZEMBRO 1980 NO 2
Editorial ......................................................
3
Vilma Fagundes Sanchez
A perspectiva das medidas referenciadas a critério
......................
5
Heraldo Marelim Vianna
Determina-
da extensão dos testes referenciados a critérios
............. 15
Robert K. Walker
Identificação de interesses e prioridades de programas de treinamento em
serviço: o problema no Rio Grande do Sul
25
............................
Richard G. Wright, Maria Estela Da1 Pai Franco e Nilva Carmen Portal Bristoti
Aspectos metodológicos do processo de seleção para o ingresso nas universidades brasileiras
39
...............................................
Nicia M. Bessa
Seleção para residência médica: o problema em São Paulo
................ 57
G16ria Maria Ç. Pereira Lima
Seleção para programas de pós-graduação: - um projeto transnacional
...... 61
Heraldo Marelim Vianna
Entrevista: uma técnica eficaz de seleção?
............................
65
Sílvia Cintra Franco
O computador e o ensino da prática de pesquisa em Ciências Sociais
........ 71
David Michael Vetter
Valor real e valor proclamado da prova de redaçao no concurso vestibular
José Geraldo Teixeira
.... 75
T
t
FUNDAÇAO CARLOS CHAGASKAPES
NO 3
JULHO 81
Apresentaç....................................................
Sua Excelência, o Vestibular..
Cláudio de Moura Castro
2
.....................................
Ponto de vista europeu sobre problemas de admissão B educação superior
Alain Bienaymé
3
....
Centraliza& e descentraiizaçãacomo determinantesda política educacional
na República Federal da Alemanha..
Jürgen Baumert e Dietrich Goldsrnidt
................................
Projetando Programas de Pesquisa referentes ao acesso &educaçãosuperior
James A. Perkins
Educação Superior no México: desenvolvimento e acesso.
Esteban Hernandez Perez e J o d Manuel Trujillo Cedillo
...
33
61
................
69
......
81
Qualidade do ensino, avaliação do aprendizado e acesso B Univerdade
Adolpho Ribeiro Neto
O vestibular como instrumento de diagnóstico e de planejamento educacional
Carlos Alberto Serpa de Oliveira
Mecanismos da escolha na carreira e estrutura social da universidade
Sérgio Costa Ribeiro
-
17
........
85
93
........... 105
O vestibular na Universidade Federal do Ceará novo modelo..
Raimundo Alberto Normando, Viliberto Cavalcante Porto e Mauro Villar de
Queiroz
Recomendações e conclusões do Seminário sobre Acesso ao Ensino Superior
111
%I&k para a Universidade: - informe bibliográfico ....................
113
Relação dos participantesdo Seminário sobre Acesso ao Ensino Superior..
... 119
Heraldo Marelim Viana