UNIVERSIDADE DE BRASÍLIA – UnB
INSTITUTO DE EDUCAÇÃO SUPERIOR DE BRASÍLIA - IESB
CENTRO DE SELEÇÃO E DE PROMOÇÃO DE EVENTOS - CESPE
A ANCORAGEM DOS ITENS NA ESCALA DO SAEB: PROPORÇÃO VERSUS PROBABILIDADE
DE ACERTOS
Autores: Frederico Neves Condé (UnB e IESB, DF)
Denise Reis Costa (CESPE,
DF)
4.2 - Fluxograma
Vera Lúcia Filgueira dos Santos (CESPE, DF)
1. INTRODUÇÃO
4. RESULTADOS
O Sistema Nacional de Avaliação da Educação Básica, o SAEB, avalia o
desempenho dos estudantes brasileiros do Ensino Básico em Língua
Portuguesa e em Matemática e apresenta seus resultados em estimativas de
proficiência em uma escala por disciplina que varia de 0 a 500.
Dos 169 itens da prova, 145 apresentaram classificação em algum nível. A
tabela 1 apresenta a diferença entre a classificação dos itens pelos níveis,
comparando-se a metodologia de proporção de acertos versus a de
probabilidade de acertos. Consideremos como base a metodologia de
proporção de acertos.
Como se trata de uma escala comum entre anos, os usuários dos resultados
da avaliação têm disponível uma série histórica do desempenho dos alunos,
especificando o quantitativo dos que já desenvolveram cada conjunto de
habilidades.
Tabela 1 – Número de itens da prova de Matemática que se diferiram em termos do
nível classificado comparando-se a proporção de acertos à probabilidade de acertos.
A base para a estimação da proficiência dos estudantes e para a construção
da escala é a Teoria de Resposta ao Item, de acordo com modelo logístico de
três parâmetros.
Dois passos são utilizados para a estruturação das escalas: a identificação
dos itens-âncora representativos de cada um dos níveis da escala, em
intervalos de 25 pontos; e a interpretação dos níveis de habilidades
desenvolvidas pelos alunos a partir desse itens-âncora.
A tabela mostra que:
No SAEB, um item é âncora no primeiro nível, à esquerda da escala, em
que 65% dos estudantes acertaram-no. Os itens da prova são distribuídos
pela escala e representam seus intervalos em termos das habilidades
demonstradas pelos estudante.
a) procedimentos diferentes geram classificação dos itens em níveis
diferentes de forma que, dos 145 itens representativos de algum nível,
apenas 20 apresentaram convergência de localização na escala;
2. OBJETIVO
b) para 109 ou 75% dos itens, o nível representativo estimado em termos de
probabilidades é inferior ao nível utilizando proporção de acertos;
O presente estudo tem como objetivo comparar os resultados de dois
procedimentos para classificação dos itens-âncora pelos níveis da escala:
c) a diferença entre os resultados para sete itens chegaram a 100 pontos da
escala ou quatro níveis de distância.
(i) com base no percentual de acertos por faixa de proficiência, utilizado
pelo SAEB; e
(ii) com base na probabilidade de acertos por faixa de proficiência.
5. DISCUSSÃO E CONCLUSÕES
3. MÉTODO
As respostas de 33.189 estudantes de 8a série à prova de matemática do
SAEB 2005 foram utilizadas para estimação das proficiências. Os pesos
amostrais foram considerados.
As proporções de acerto dos estudantes classificados em cada um dos
níveis da escala a cada um dos itens foram calculadas. Os itens foram
classificados como representante de um determinado nível, quando, no
primeiro nível à esquerda, a proporção de acerto fosse igual ou superior a
65%, de acordo com os procedimentos utilizados pelo SAEB.
Adicionalmente, as probabilidades de acerto dos estudantes classificados
nos níveis da escala a cada um dos itens foram estimadas. Os itens foram
classificados como representativos no menor nível em que a probabilidade
de acertos fosse igual ou superior a 0,65.
O número de itens classificados por meio da proporção de acertos foi
comparado ao número de itens classificados por meio da probabilidade de
acertos para cada nível da escala.
Se a escala do SAEB fosse baseada na probabilidade de acertos, seria
significativamente diferente. Os resultados sugerem que as descrições dos
itens seriam deslocadas em um ou alguns níveis para a esquerda da escala.
Com base na probabilidade de acertos, por exemplo, os estudantes situados
no nível 225 já teriam desenvolvido as habilidades descritas no nível 250 na
escala do SAEB.
Por sua vez, a utilização da proporção de acertos retrata direta e
empiricamente o desempenho dos estudantes e não são dependentes de
modelos de probabilidade.
Embora o SAEB utilize proporções de acertos para definição dos itens
âncora, o presente estudo lança um questionamento sobre o procedimento
mais apropriado para a ancoragem. Sugere-se, como exercício, a realização
da reinterpretação das escalas do SAEB baseada na classificação dos itensâncora por meio da probabilidade de acerto por faixa de proficiência,
utilizando-se os itens aplicados nos 10 anos de avaliação. Ainda, analisar a
consistência das interpretações e da classificação dos itens comuns entre
anos, comparando-nas com os resultados atuais do SAEB.
6. BIBLIOGRAFIA
CESPE (2007). Relatório técnico da Teoria de Resposta ao Item. Brasília:
Unb.