ARTIGO
A Teoria de Resposta
ao Item no
novo Enem
O
novo Enem, além de continuar a servir como referência para avaliar o
conhecimento dos alunos
que encerraram o Ensino Médio, será
usado nos processos seletivos de instituições de Ensino Superior. Para
cumprir essas múltiplas funções, o
Inep/MEC, órgão responsável pela
operacionalização do Enem, precisou
recorrer às técnicas oriundas da Teoria de Resposta ao Item (TRI).
A TRI é uma modelagem estatística
de aplicação frequente em testes de conhecimento. Seu uso é consagrado na
área de educação em vários países. No
Brasil, o principal programa de avaliação que utiliza a Teoria de Resposta
ao Item é o Sistema de Avaliação da
Educação Básica (Saeb), que a adotou
em 1995 e desde então a utiliza para a
construção de instrumentos, atribuição
de escores e análise de desempenho,
de forma a viabilizar a comparação
dos resultados, com a construção das
escalas de proficiência.
O que se deseja estimar é o nível
de aptidão de alguém a partir da análise das respostas dadas a um conjunto de questões (ou itens). Para isso,
recorre-se a modelos matemáticos
que relacionam as variáveis envolvidas nessa situação. O modelo que
será utilizado para análise no novo
Enem vai considerar três parâmetros:
o parâmetro da dificuldade de responder corretamente a uma questão, o da
discriminação e também o parâmetro
da probabilidade de acerto ao acaso,
popularmente conhecida como “parâmetro de chute”.
Mauro Luiz Rabelo
Para facilitar o trabalho das escolas,
os especialistas que colaboraram com
o Inep/MEC elencaram os objetos de
conhecimento associados à Matriz de
Referência de acordo com o que está
estabelecido nas Orientações Curriculares Nacionais para o Ensino Médio
(OCNEM). Essa estrutura aproxima o novo Enem dessas orientações
“O que se quer
estimar é a aptidão do
aluno a partir da análise
de suas resposta
”
sem abandonar o modelo de avaliação centrado no desenvolvimento
de habilidades. Isso quer dizer que,
se a escola tem seu projeto pedagógico desenvolvido em conformidade
com essas orientações, então os alunos estarão bem preparados para o
novo exame.
O que é a TRI?
A TRI é um conjunto de modelos
matemáticos que procuram representar a probabilidade de alguém dar
uma resposta a um item como função dos parâmetros do item e da(s)
habilidade(s) de quem responde. Os
modelos relacionam variáveis observáveis – respostas aos itens de um
teste, por exemplo – com aptidões
não observáveis e que são responsá-
veis pelas respostas dadas. De acordo com essa relação, quanto maior a
habilidade, maior a probabilidade de
acerto no item.
O que se deseja estimar é o nível
de aptidão de alguém a partir da análise das respostas dadas a um conjunto de questões. Para isso, recorre-se a
modelos matemáticos que relacionam
as variáveis envolvidas nessa situação.
O modelo que será utilizado para análise no novo Enem vai considerar três
parâmetros para definir o nível de aptidão ou habilidade (θ) do estudante: o
parâmetro da dificuldade de responder
corretamente a uma questão, o da discriminação utilizada na escolha de um
item e também da probabilidade de
acerto ao acaso, popularmente conhecida como “parâmetro de chute”.
Quando alguém responde a uma
sequência de itens, produz um padrão
de respostas, composto de acertos
(valor = 1) e erros (valor = 0). Isso
pode ser esquematizado em uma tabela cujas linhas são os padrões de respostas de alunos submetidos ao teste
e cujas colunas são itens deste, numerados, por exemplo, de 1 a 45 (o novo
Enem será composto de quatro partes
de 45 itens cada uma). Essa tabela de
“uns” e “zeros” coleciona as respostas dadas por todos os indivíduos a
todos os itens de cada parte da prova.
Se forem 5 milhões de participantes,
será, então, uma tabela de 5 milhões
de linhas por 45 colunas, chamada
de matriz de padrão de respostas dos
estudantes. Somente com os recursos
atuais de informática podemos manusear tabelas tão grandes.
Explicando o Enem l 65
ARTIGO
Probabilidade
Na Teoria Clássica dos Testes
(TCT), usada até então na avaliação
de provas, a aptidão para responder a
um teste é simplesmente expressa pelo
número de itens corretos. Compara-se
seu padrão de respostas com o gabarito
e calcula-se o escore bruto fazendo-se
a soma dos acertos. No caso da TRI,
deseja-se descobrir qual o valor do traço latente (da habilidade) de alguém
para que acerte cada item.
Para descobrir isso, a pergunta
inicial que a TRI faz sobre o item é:
qual é a probabilidade de acerto de
um item específico? A resposta a essa
pergunta depende do nível de aptidão
do estudante (θ) e das características
do item – dificuldade (b), discriminação (a) e acerto ao acaso (c).
Assim, na TRI, estuda-se o comportamento diante de cada item que
é respondido. Por isso, a base desse
modelo matemático é a Curva Característica do Item (CCI) – representada na figura abaixo, gráfico de uma
função P(θ) que fornece a probabilidade de um aluno com habilidade
θ responder corretamente ao item do
teste que está sendo analisado. Observe a figura: você verá que a função
P (θ) assume valores que vão de 0 a 1
(correspondentes a porcentagens que
vão de 0% a 100%) e se configura em
uma curva na forma de S. Na curva
estão indicados os parâmetros a, b e
c do item respondido, que serão explicados a seguir. Os valores da habilidade (θ), no eixo horizontal, estão na escala
de média igual a zero e
desvio-padrão 1.
O acerto ao acaso
1
representa as respostas
0,9
dadas por “chute”. Isso
0,8
ocorre principalmente
0,7
com os itens que são
0,6
mais difíceis, para os
0,5
quais alunos de baixa
0,4
aptidão não conhecem
0,3
a resposta correta, mas
0,2
arriscam qualquer uma.
0,1
A TRI estima o acerto
0
ao acaso por meio do
parâmetro c, que representa a probabilidade
de um aluno com baixa
66 l Explicando o Enem
“A TRI avalia quem
responde às questões a
partir da dificuldade,
discriminação ou “chute”
”
cujo parâmetro b está próximo de –3
são considerados fáceis, e os de parâmetro próximo de 3, difíceis. Itens
cujo valor de b cai fora do intervalo
[–3, 3] sugerem problemas de concepção e são, normalmente, excluídos
das análises.
A prova será mais “difícil”?
O nível de dificuldade ideal para
os itens de um teste depende da sua
habilidade responder corretamente finalidade. Em avaliação educacional,
ao item. Assim, se não fosse permi- recomenda-se “uma distribuição de
tido “chutar”, c seria igual a zero. níveis de dificuldade de itens no tesEm geral, são recomendados valores te dentro de uma curva normal: 10%
iguais ou inferiores a 0,2 para itens dos itens em cada uma das duas faixas
com cinco opções de resposta, como extremas, 20% em cada uma das faixas seguintes e 40% na faixa média”
é o caso do Enem.
A dificuldade é o valor da aptidão (Pasquali, 2003).
A discriminação é concebida como
(θ) preciso para se obter uma probabilidade de acerto igual a (1+c)/2. É ne- a capacidade do item de estabelecer
cessário esclarecer isso. Quando não é diferenças entre alunos com habilidapermitido o “chute”, a complexidade des diversas. Na TRI, é definida como
da questão é estabelecida pelo valor o poder do item para diferenciar estuda habilidade para se obter a proba- dantes com magnitudes próximas da
bilidade de 50% de acerto do item. habilidade que está sendo aferida.
A utilização da TRI para análise
Quanto maior for o nível de aptidão
estabelecido para o aluno acertar o de testes de conhecimento veio para
item (e isso é evidenciado pelo mo- sanar algumas limitações da Teoria
delo estatístico), maior será a dificul- Clássica dos Testes (TCT), principaldade desse item. A complexidade de mente no que diz respeito à discrimiuma questão é representada em uma nação dos itens, fidedignidade dos
escala padronizada, que, teoricamen- testes e comparabilidade de desemte, varia de –∞ a +∞. Na prática, seus penho de jovens que se submetem a
valores se situam tipicamente entre testes diferentes.
Tomando as edições do Enem já
–3 e 3, pois, entre esses extremos, estão mais de 99,7% dos casos. Os itens ocorridas desde 1998, é comum ouvirmos inferências comparativas dos resultados de
Curva Característica do Item (CCI)
um ano com o seguinte,
simplesmente observando-se a média dos alunos
na prova. Essas comparações são completamente
desprovidas de fundamento e não podem ser
a
feitas. Os resultados de
um ano para outro não
são comparáveis. Com
a utilização da TRI no
c
Enem, a partir deste ano,
poderemos tirar conclusões interessantes e
-4,0 -3,0 -2,0 -1,0
0 1,0 2,0 3,0 4,0
cientificamente bem fundamentadas sobre o deb
Habilidade ( )
sempenho dos estudantes
e suas Tecnologias; e Matemática e
suas Tecnologias. De posse das informações que serão fornecidas, cada
participante poderá fazer uma análise comparativa do seu nível de aptidão em cada uma dessas quatro áreas. Veja o quadro ao lado: o gráfico
é uma simulação da distribuição dos
participantes do Enem de acordo com
as proficiências.
Distribuição dos participantes de acordo com as proficiências
21,02%
18,10%
19,13%
13,86%
10,95%
7,75%
4,00%
3,58%
1,07% 0,32% 0,04%
0,18%
125
150
175
200
225
250
275
300
325
350
375
400
Diante dessas mudanças, como
agir na preparação dos alunos?
425
Você está aqui!
Como surgiu a TRI?
A TRI surgiu entre os anos 1950 e
1960 para responder a indagações relativas aos testes de inteligência, cujos
resultados variavam em razão dos
instrumentos de medida utilizados.
Qual seria então o resultado correto?
O problema era mais profundo, já que
“o objeto medido, a inteligência no
caso, afeta diretamente o instrumento
utilizado; aliás, ela é definida pelo próprio instrumento utilizado” (Pasquali,
2007). Já pensou se o metro medisse
de forma diferente se estivéssemos
calculando a largura de um livro ou o
comprimento de uma mesa?
A solução dada pela TRI a esse
problema – independência do instrumento de medida em relação ao objeto que se deseja medir – utilizava
modelos e algoritmos matemáticos
difíceis de ser operacionalizados à
época. Por isso, somente após o avanço tecnológico dos anos 1980, com o
desenvolvimento de softwares para
uso prático dos algoritmos complexos
que o modelo contém, essa teoria começou a ser difundida.
Os valores dos parâmetros dos
itens e das habilidades dos indivíduos são obtidos por sofisticadas técnicas estatísticas e matemáticas de
estimação, utilizando-se softwares
específicos, que manipulam tabelas
Devemos capacitar os alunos a selecionar criteriosamente e gerenciar
criticamente as informações que hoje
eles acessam com muita facilidade. O
processo educacional deve contribuir
para tornar o educando um cidadão
responsável e autônomo em suas escolhas, oportunizando o desenvolvimento harmônico de conjuntos de
habilidades que permitam a compreensão integrada, crítica e contextualizada de temas diversos. Esses objetivos estão subjacentes às habilidades
expressas na matriz do novo exame,
que apresenta uma visão ampla das
capacidades que se espera que sejam
desenvolvidas por todos os egressos
do Ensino Médio. O importante é que
tentemos...
“O estudante terá seu
desempenho medido
em uma escala geral de
proficiência
”
(matrizes) gigantescas como a matriz
de padrão de respostas anteriormente
mencionada. De qualquer modo, em
uma população tão grande quanto a
que vai se submeter ao Enem, a distribuição dos estudantes por nível de
habilidade será praticamente normal,
conforme ilustra hipoteticamente a figura acima, que mostra a distribuição
dos participantes de acordo com as
proficiências.
Na TRI, a habilidade pode, teoricamente, assumir qualquer valor
entre –∞ a +∞. Assim, precisam ser
estabelecidas uma origem e uma unidade de medida para a definição da
escala. Esses valores são escolhidos
de modo a representar, respectivamente, o valor médio e o desviopadrão das habilidades das pessoas
que responderam ao teste.
Ao receber o boletim de desempenho, o participante vai se localizar
nessa distribuição, de acordo com seu
desempenho no teste e seu nível de
aptidão em cada uma das quatro áreas
avaliadas no exame: Linguagens, Códigos e suas Tecnologias (incluindo
redação); Ciências Humanas e suas
Tecnologias; Ciências da Natureza
“... dar a todos o mesmo ponto de partida.
Quanto ao ponto de chegada, isso depende
de cada um.” (Mário Quintana)
Neste texto, usamos indistintamente as palavras aptidão, habilidade e proficiência.
REFERÊNCIAS:
ANDRADE, D.F., TAVARES, H.R. & VALLE, R.C. Teoria da Resposta ao Item: conceitos e aplicações.
São Paulo: ABE – Associação Brasileira de Estatística, 2000.
PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2003.
PASQUALI, L. (no prelo). Teoria de Resposta ao
Item – TRI: Teoria, Procedimentos e Aplicações.
Brasília, 2007.
Arquivo pessoal
e dos egressos do Ensino Médio brasileiro ao longo do tempo.
Uma escala de proficiência para
cada uma das quatro áreas avaliadas
será construída, e essa será a “régua”
que será usada para comparar os resultados no decorrer dos anos.
MAURO LUIZ RABELO
é doutor em Matemática e
professor da Universidade de
Brasília (UnB)
Explicando o Enem l 67