INFERÊNCIA EM MODELOS DA TEORIA DA RESPOSTA AO ITEM PARA
RESPOSTAS DICOTÔMICASi
Mônica dos Santos Silvaii
Maria Regina Madruga Tavaresiii
(Universidade Federal do Pará)
Resumo
Os modelos da Teoria da Resposta ao Item (TRI) consideram as respostas dadas a itens diretamente
relacionados a alguma medida latente de interesse, através de um modelo estatístico que relaciona a
probabilidade de uma determinada resposta a um certo item com parâmetros associados a este item e
essa medida latente. Neste trabalho foi usado um modelo da TRI para itens dicotômicos para a
construção de um indicador de qualidade na gestão municipal de meio ambiente. A base de dados da
Pesquisa de Informações Básicas Municipais (MUNIC/IBGE) do ano de 2013 foi utilizada para o ajuste
do modelo, considerando 19 itens relacionados à ações/planejamentos na área ambiental. Um escore foi
estimado para os municípios brasileiros que implementaram alguma iniciativa na área de consumo
sustentável. Foi possível identificar quais os itens que mais contribuem para melhorar a gestão
ambiental nos municípios, com destaque para a implementação em parceria das seguintes ações:
Coletivo educador, Sala Verde, Circuito Tela Verde, Conferência Infanto-juvenil pelo Meio Ambiente e
Sustentabilidade ambiental das instituições públicas, como a Agenda Ambiental na Administração-A3P.
Os 3 municípios com melhor gestão ambiental foram: Quixeramobim-CE, Fortaleza-CE e Itaguaje-PR.
Os 19 municípios que apresentaram o menor escore na gestão do meio ambiente estão assim
distribuídos nas cincos regiões brasileiras: região Nordeste com 11 municípios, região Sul com 4
municípios, região Centro-oeste com 2 municípios e as regiões Norte e Sudeste com apenas um
município.
Palavras-chave: teoria de resposta ao item, escore de qualidade, meio ambiente.
Abstract
Models of Item Response Theory (IRT) consider the answers given to items directly related to some
latent measure of interest, using a statistical model that relates the probability of a particular response to
a certain item with parameters associated with this item and the latent measure. In this paper was used a
model of IRT for dichotomous items to build a quality indicator in municipal management environment.
The database of the Survey of Basic Municipal Information (MUNIC/IBGE) of the year 2013 was used
for the model fit, considering 19 items related to actions/planning in the environmental area. The score
was estimated for the Brazilian municipalities that have implemented an initiative on sustainable
consumption area. It was possible to identify what items that more contribute to improve environmental
management in municipalities, with emphasis on the implementation in partnership of the following
actions: Collective educator, Green Room, Circuit Green Screen, Children and Youth Conference for the
Environment and environmental sustainability of the institutions public, such as the Environmental
Agenda in the Administration-A3P. The three cities with better environmental management were:
Quixeramobim-CE, Fortaleza-CE and Itaguaje-PR. The 19 municipalities that presented the lowest score
in environmental management are distributed in the five Brazilian regions: Northeast, with 11
municipalities, South with 4 municipalities, Central West region with 2 municipalities and the North and
Southeast with only one municipality.
Key-words: item response theory, quality score, environment.
A Teoria da Resposta ao Item (TRI) surgiu
por volta dos anos 1950, a partir de discussões
teóricas sobre a viabilidade de se comparar as
habilidades e os conhecimentos de indivíduos
submetidos a provas diferentes (ARAÚJO,
ANDRADE & BORTOLOTTI, 2009). Em
1995 começou a ser utilizada no Brasil pelo
Ministério da Educação no SAEB - Sistema de
Avaliação da Educação Básica (KLEIN, 2009)
e o Exame Nacional para Certificação de
Teoria da Resposta ao Item aplicada na gestão ambiental municipal
Competências de Jovens e Adultos (Enceja) e,
posteriormente, no Exame Nacional do Ensino
Médio (ENEM).
Na área de avaliação educacional, a TRI
propõe modelos estatísticos que relacionam a
probabilidade de um aluno dar uma certa
resposta a uma questão (ou item) da prova com
seu conhecimento na área avaliada e as
características (parâmetros) deste item. A
grande vantagem destes modelos em relação à
Teoria Clássica dos Testes (TCT), que estima o
conhecimento do aluno com base no seu escore
total na prova, é que na TRI é possível a
comparação do conhecimento entre alunos
mesmo que eles tenham realizado provas
distintas. Para isso, basta garantir a existência
de alguns itens comuns nas diferentes provas
(ANDRADE, TAVARES & VALLE, 2000).
Métodos
Neste trabalho foram estudados os
principais modelos da TRI, com ênfase no
Modelo Logístico de 2 Parâmetros (ML2), que
é indicado na presença de itens dicotômicos,
com respostas do tipo Certo/Errado, Sim/Não
ou Concorda/Discorda, entre outros. Assim,
considerando o contexto da avaliação
educacional, tem-se uma variável dicotômica
𝑈𝑖𝑗 , tal que:
𝑈𝑖𝑗 = {
Marginal (AZEVEDO, 2003), e consiste em
estimar os parâmetros dos itens (𝑎𝑖 , 𝑏𝑖 ) para
cada item e as habilidades 𝜃𝑗 para cada aluno.
O modelo ML2 foi ajustado em dados
simulados e em um banco de dados reais. O
processo de estimação foi realizado no software
BILOG-MG (ZIMOWSKI et al., 1996) e no
ambiente de programação R (disponível em
http://www.r-project.org/), utilizando os pacotes:
mirt, ltm e ctt (ANJOS & ANDRADE, 2012).
Resultados
 Dados simulados
A fim de validar o processo de estimação
dos parâmetros dos itens foram simuladas
respostas de 1.000 indivíduos para 30 itens
dicotômicos, com parâmetros de discriminação e
de dificuldade fixados e conhecidos. A geração
dos dados foi implementada em uma macro no
Excel/VBA.
Do modelo em (1) tem-se que
𝑈𝑖𝑗 ~Bernoulli(𝑃𝑖𝑗 ), assim o vetor de respostas
simuladas para cada indivíduo são gerados a
partir destas Bernoullis. Agora, se 𝑋~𝑈(0,1),
então 𝑃(𝑋 ≤ 𝑥) = 𝑥, e definindo 𝑈𝑖𝑗 =
1{𝑋𝑖𝑗≤𝑃𝑖𝑗} tem-se
𝑃(𝑈𝑖𝑗 = 1) = 𝑃(𝑋𝑖𝑗 ≤ 𝑃𝑖𝑗 ) = 𝑃𝑖𝑗 .
Ou seja, de forma ilustrada tem-se
1, 𝑠𝑒 𝑜 𝑖𝑛𝑑𝑖𝑣í𝑑𝑢𝑜 𝑗 𝑎𝑐𝑒𝑟𝑡𝑎 𝑜 𝑖𝑡𝑒𝑚 𝑖
0,
𝑐𝑎𝑠𝑜 𝑐𝑜𝑛𝑡𝑟á𝑟𝑖𝑜
𝑈𝑖𝑗 = 1
0
O ML2 representa a probabilidade do
indivíduo j acertar o item i como função do seu
conhecimento/habilidade 𝜃𝑗 , do poder de
discriminação 𝑎𝑖 e do grau de dificuldade 𝑏𝑖 do
item i. Esse modelo é expresso por
1
𝑃𝑖𝑗 = 𝑃(𝑈𝑖𝑗 = 1) =
,
(1)
1 + 𝑒 −𝐷𝑎𝑖 (𝜃𝑗−𝑏𝑖 )
com 𝑖 = 1, … , 𝐼 e 𝑗 = 1, … , 𝑁,
O processo de estimação do modelo em (1) é
feito via Método da Máxima Verossimilhança
𝑈𝑖𝑗 = 0
𝑃𝑖𝑗
1
Para os escores, considera-se uma
distribuição N(0,1), gerada a partir da relação: se
𝑅1 e 𝑅2 são 𝑈(0, 1) independentes, então
𝑍 = √−2ln(𝑅1 ) cos(2𝜋𝑅2 ) ~𝑁(0, 1).
Após o ajuste do modelo aos dados
simulados, foram obtidos os erros de estimação
para os parâmetros de discriminação (𝑎𝑖 ) e de
dificuldade (𝑏𝑖 ). O erro quadrático médio
(EQM) estimado para cada parâmetro foi
Relatório Final de Bolsa de Iniciação Científica
Teoria da Resposta ao Item aplicada na gestão ambiental municipal
̂ (𝑎) = 0,741
𝐸𝑄𝑀
𝑒
̂ (𝑏) = 0,013.
𝐸𝑄𝑀
Tabela 1 - Itens considerados no estudo.
Itens Descrição dos Itens
Conselho Municipal de Meio Ambiente
1 existência
 Dados reais
Foram usados os microdados da Pesquisa de
Informações Básicas Municipais (MUNIC 2013)
do Instituto Brasileiro de Geografia e Estatística
(IBGE), coletados no período de março à
dezembro de 2013, que tem como principal
objetivo obter informações sobre a estrutura, a
dinâmica e o funcionamento das instituições
públicas municipais do Brasil em diversas áreas
(http://www.ibge.gov.br/home/estatistica/econo
mia/perfilmunic/2013/). Para a aplicação da TRI
foram usados os dados relativos a gestão
municipal brasileira na área de meio ambiente.
Assim, com o objetivo de estimar um escore
de qualidade da gestão em meio ambiente dos
municípios brasileiros (EQGMAM), considerouse 21 itens observados na MUNIC 2013
relacionados a ações e planejamentos dos
municípios nesta área. Dos 5.570 municípios
brasileiros, apenas 2.286 foram considerados na
estimação do escore, que correspondem àqueles
que implementaram alguma iniciativa na área de
consumo sustentável.
Após um ajuste inicial do modelo, dois itens
(item 7 – se o Governo Municipal está
implementando em parceria com o Governo
Federal algum programa e o item 21 – se o
Governo Municipal está implementando outras
iniciativas na área de consumo sustentável)
foram retirados por apresentarem uma baixa
correlação com o escore. Assim, ficaram 19
itens a serem analisados. A Tabela 1 apresenta a
descrição de cada item considerado no estudo.
A Tabela 2 apresenta as estimativas dos
parâmetros ai e bi associados a cada item e a
proporção de respostas afirmativas entre os
municípios considerados. Os itens com menores
percentuais de respostas afirmativas foram “a
implementação em parceria com o circuito tela
verde e com coletivo educador” (itens 10 e 8)
com 2,54% e 5,91% respectivamente.
-
2 Fundo Municipal de Meio Ambiente - existência
Iniciou o processo de elaboração da Agenda 21
3 local
Fórum da Agenda 21 local realizou reunião nos
4 últimos 12 meses
Legislação específica para tratar de questão
5 ambiental
6 Faz parte de comitê de bacia hidrográfica
8 Implementar em parceria: Coletivo educador
9 Implementar em parceria: Sala Verde
10 Implementar em parceria: Circuito Tela Verde
Implementar em parceria: Conferência Infanto11 juvenil pelo Meio Ambiente
Implementar em parceria: Educação Ambiental
12 no Plano de Gestão de Resíduos Sólidos
Implementar em parceria: Sustentabilidade
ambiental das instituições públicas, como a
13 Agenda Ambiental na Administração-A3P
O
município
participa
de
Comissão
Interinstitucional de Educação Ambiental (CIEA)
14 de âmbito estadual ou similar
Participa de alguma reunião da Comissão
Interinstitucional de Educação Ambiental (CIEA)
15 ou similar nos últimos 12 meses
O município possui Plano de Gestão Integrada de
Resíduos Sólidos nos termos estabelecidos na
16 Política Nacional de Resíduos Sólidos
17 Redução do uso de sacolas plásticas
Sustentabilidade ambiental das instituições
públicas, como a Agenda Ambiental na
18 Administração-A3P
Implementar alguma iniciativa: Redução do
19 consumo de água ou energia elétrica
Implementar iniciativa com uso de critério
20 ambiental em compra ou concorrência pública
O parâmetro ai indica a discriminação ou
inclinação do item, ou seja, seu poder em
discriminar entre os municípios de maior e
menor escore de qualidade na gestão ambiental.
O parâmetro bi, estimado na mesma escala do
escore, indica o grau de dificuldade do item. Ou
seja, itens mais “difíceis” são aqueles em que os
municípios de maior escore na gestão terão
maior
probabilidade
de
respondê-los
afirmativamente.
Observa-se que os itens com maior parâmetro
de dificuldade foram os itens 17 (Redução do
Relatório Final de Bolsa de Iniciação Científica
Teoria da Resposta ao Item aplicada na gestão ambiental municipal
ai
bi
74,72%
1,369
-1,055
2
49,34%
1,164
0,036
3
26,55%
1,128
1,126
4
7,39%
1,549
2,183
5
73,93%
1,372
-1,014
6
80,01%
0,567
-2,606
8
5,91%
1,286
2,654
9
8,92%
1,337
2,208
10
2,54%
1,949
2,652
11
12,47%
1,285
1,925
12
33,46%
0,932
0,875
13
9,27%
1,939
1,778
14
11,99%
1,967
1,567
15
9,36%
2,195
1,681
16
41,21%
0,754
0,535
17
40,03%
0,134
3,031
18
18,24%
0,851
2,008
19
47,81%
0,123
0,716
20
19,03%
0,306
4,824
Histogram of EQGMAM
0
1
150
Sim
100
Itens
50
Tabela 2 - Estimativas dos Parâmetros dos Itens e
percentual de respostas afirmativas..
parâmetro ai, ou seja, esses itens têm maior
poder de discriminação.
As estimativas do EQGMAM foram obtidas
inicialmente na escala (0, 1), ou seja, com média
zero e desvio padrão um, mas posteriormente
foram linearmente transformadas para a escla
(250, 50). A Figura 1 apresenta o histograma do
EQGMAM na nova escala. O escore estimao foi
categorizado em 5 níveis, formando 5 grupos de
municípios: Grupo 1 (EQGMAM< 200) com
266 municípios, Grupo 2 (200 ≤ EQGMAM <
240) com 598 municípios, Grupo 3 (240≤
EQGMAM < 282) com 936 municípios, Grupo
4 (282 ≤
EQGMAM < 365) com 477
municípios e Grupo 5 (EQGMAM ≥ 365) com 9
municípios.
Frequency
uso de sacolas plásticas) e o 20 (Implementar
iniciativa com uso de critério ambiental em
compra ou concorrência pública), indicando que
os municípios com maior EQGMAM tem maior
probabilidade de oferecer esse serviço. Já os
itens com menor dificuldade (itens 6, 1 e 5)
representam serviços em que os municípios, em
qualquer nível da escala de escore, tem alta
probabilidade de executar.
Os itens 10 (Implementar: Circuito Tela
Verde), 13 (Implementar: Sustentabilidade
ambiental das instituições públicas, como a
Agenda Ambiental na Administração-A3P), 14
(O
município
participa
de
Comissão
Interinstitucional de Educação Ambiental
(CIEA) de âmbito estadual ou similar) e 15
(Participa de alguma reunião da Comissão
Interinstitucional de Educação Ambiental
(CIEA) ou similar nos últimos 12 meses)
apresentam maiores valores em relação ao
150
200
250
300
350
400
EQGMAM
Figura 1 – Histograma EQGMAM - Escore de Qualidade
da Gestão em Meio Ambiente dos municípios brasileiros.
Para verificar se há diferenças no escore
médio dos grupos foi realizado o teste de Welch,
e obteve-se p-valor < 0,001, indicando que as 5
médias não são iguais entre si. O teste de Games
Howell para comparações múltiplas, verificou
que há diferenças significativas entre todos os
grupos.
No grupo 5, formado pelos 9 municípios com
maiores escores (melhor gestão), destacam-se os
municípios de Quixeramobim-CE, Fortaleza-CE
Relatório Final de Bolsa de Iniciação Científica
Teoria da Resposta ao Item aplicada na gestão ambiental municipal
e Itaguaje-PR, com os maiores escores, 408,13,
403,32 e 394,42, respectivamente.
O menor escore observado foi 160,82 e é
comum a 19 municípios, que estão assim
distribuídos nas cincos regiões brasileiras: 11
municípios na região Nordeste, 4 municípios na
região Sul, 2 na região Centro-oeste e as regiões
Norte e Sudeste com apenas um município. A
Figura 2 ilustra a distribuição dos grupos em
cada região.
Tela Verde, Conferência Infanto-juvenil pelo
Meio Ambiente e Sustentabilidade ambiental das
instituições públicas, como a Agenda Ambiental
na Administração-A3P.
Tabela 3: Percentual de Respostas Afirmativas dos
Municípios dos Grupos 1, 2, 3, 4 e 5 aos 19 Itens
Considerados no Estudo.
Grupos
Itens
1
2
3
4
5
1
4,51
63,88
92,31
92,45
100,00
2
1,13
17,22
68,91
77,36
88,89
3
6,02
9,03
24,89
62,05
88,89
4
0
0,50
4,06
25,58
66,67
5
6,02
61,20
91,35
93,08
100,00
6
46,99
76,09
87,82
87,63
100,00
8
88,89
0
1,00
4,06
17,40
9
100,00
0,75
1,00
6,09
27,25
10
66,67
0
0
0,21
10,48
11
100,00
0,38
3,34
8,65
36,48
12
8,65
16,72
34,51
65,41
77,78
13
88,89
0
0,33
3,53
35,43
14
0
0,84
4,81
45,07
100,00
15
0
0
2,67
37,74
100,00
16
11,28
26,42
45,83
66,46
88,89
17
39,85
35,28
39,74
46,12
66,67
18
6,77
7,69
16,24
40,46
88,89
19
46,24
42,47
48,18
54,30
66,67
20
12,41
15,38
19,34
26,00
55,56
Discussão
Figura 2 – Distribuição dos Grupos por Região.
A Tabela 3 apresenta o percentual de
respostas afirmativas dos municípios dos grupos
1, 2, 3, 4 e 5 aos 19 itens considerados no
estudo. Com isso, é possível verificar quais as
ações/planejamentos devem ser implementadas
pelos municípios dos grupos 1, 2, 3 e 4 para
aumentar seu EQGMAM e viabilizar sua
participação no grupo 5. Nesse sentido destacase a implementação em parceria das seguintes
ações: Coletivo educador, Sala Verde, Circuito
Apesar da TRI ser mais conhecida no
âmbito da avaliação educacional, onde se deseja
mensurar o conhecimento de alunos em
determinada área do conhecimento, sua
diversidade de modelos permite a utilização em
diversas áreas de aplicação, em que se deseje
medir alguma característica (variável) latente,
que não pode ser mensurada (observada)
diretamente.
Alguns autores têm aplicado essa teoria na
construção de indicadores sociais e econômicos
(SOARES, 2005; ALVES, SOARES e
XAVIER, 2015), na avaliação da satisfação de
alunos (JUNIOR et al., 2015), na gestão pela
qualidade (ALEXANDRE et al., 2002), entre
outros.
Os modelos da TRI permitem avaliar a
contribuição de cada item respondido na
Relatório Final de Bolsa de Iniciação Científica
Teoria da Resposta ao Item aplicada na gestão ambiental municipal
estimação da variável latente, diferentemente
dos modelos clássicos de estimação de variáveis
latentes, a maioria baseada em um escore total
que não avalia individualmente os itens.
Neste trabalho foi aplicado o modelo
Logístico de 2 Parâmetros da TRI na construção
de um escore associado a qualidade na gestão
ambiental dos municípios, identificando as ações
que devem ser prioritárias para os gestores
municipais, a fim de permitir uma melhor
qualidade na gestão do meio ambiente. Esses
resultados
podem
contribuir
com
o
desenvolvimento de políticas públicas voltadas
para o uso adequado dos recursos ambientais.
Básica (Saeb). Revista Meta: Avaliação,1(2), 125140.
Soares, T. M. (2005). Utilização da teoria da resposta ao
item na produção de indicadores sócioeconômicos. Pesquisa Operacional, 25(1), 83-112.
Zimowski, M.F., Muraki, E., Mislevy, R.J. & Bock, R.D.
(1996). BILOG-MG: Multiple-Group IRT Analysis
and Test Maintenance for Binary Items. Chicago:
Scientific Software, Inc.
Referências
Alexandre, J.W.C., Andrade, D.F., Vasconcelos, A.D.,
Araujo, A.D., & Batista, M.J. (2002). Teoria da
resposta ao item: aplicação do modelo de escala
gradual na gestão pela qualidade. ENCONTRO
NACIONAL
DE
ENGENHARIA
DE
PRODUÇÃO, 22, 1-20.
Alves, M.T.G., Soares, J.F., Xavier, F.P. (2015). Índice
Socioeconômico das Escolas de Educação Básica
Brasileiras. Revista Ensaio: Avaliação e Políticas
Públicas em Educação. 22(84). 671-704.
Andrade, D.F.; Tavares, H.R. & Valle, R.C.
(2000). Teoria da Resposta ao Item: Conceitos e
Aplicações. ABE – Associação Brasileira de
Estatística, São Paulo.
Anjos, A. & Andrade, D.F. (2012). Teoria de Resposta ao
Item com o uso do R. ABE – Associação Brasileira
de Estatística, São Paulo.
Araujo, E.A.C., Andrade, D.F., & Bortolotti, S.L.V.
(2009). Teoria da resposta ao item. Revista da
Escola de Enfermagem USP, São Paulo, 43, 10001008.
Azevedo, C.L.N. (2003). Métodos de estimação na teoria
de resposta ao item (Doctoral dissertation, Instituto
de Matemática e Estatística da Universidade de São
Paulo, 27/02/2003.).
Junior, F.D.J.M., Zanella, A., Lopes, L.F.D. & Seidel, E.J.
(2015). Avaliação da satisfação de alunos por meio
do Modelo de Resposta Gradual da Teoria da
Resposta ao Item. Revista Ensaio: Avaliação e
Políticas Públicas em Educação. 23(86). 129-158.
Klein, R. (2009). Utilização da teoria de resposta ao item
no Sistema Nacional de Avaliação da Educação
Relatório Final de Bolsa de Iniciação Científica
Teoria da Resposta ao Item aplicada na gestão ambiental municipal
i
Trabalho desenvolvido com o apoio do
Programa PIBIC/UFPA.
ii
Graduanda do curso de Estatística da
Universidade Federal do Pará. Bolsista
PIBIC/FAPESPA.
E-mail:
[email protected].
iii
Docente da Faculdade de Estatística,
Universidade Federal do Pará. E-mail:
[email protected].
Parecer do Orientador
A bolsista desenvolveu seu plano de
trabalho de forma excelente, cumprindo
seus horários com muita dedicação.
Apesar do plano proposto incluir temas
novos para ela, que não são estudados
na grade curricular do curso de
Estatística da UFPA, a bolsista superou
suas dificuldades e cumpriu os objetivos
do trabalho. Parte dos resultados aqui
relatados foram apresentados no evento
internacional “ISI 2015 - 60th World
Statistics Congress”, realizado no Rio
de Janeiro-RJ, no período de 26 a
31/07/2015. Ajustes finais esto sendo
feitos no artigo para posterior
submissão a um periódico do Qualis
CAPES.
Belém, 10 de Agosto de 2015.
Maria Regina Madruga Tavares
Relatório Final de Bolsa de Iniciação Científica