Terceiro Estudo Regional Comparativo e Explicativo – TERCE
O Brasil participará neste ano de 2013, do Terceiro Estudo Regional Comparativo e
Explicativo da Qualidade da Educação na América Latina – TERCE. Este estudo constitui
um esforço de avaliar a aprendizagem dos alunos latino-americanos nas áreas de
Matemática, Linguagem (Leitura e Escrita) e Ciências. Este estudo é coordenado pelo
Laboratório Latino-americano de Avaliação da Qualidade da Educação (LLECE, por sua
sigla em espanhol) do Escritório Regional da UNESCO para América Latina e o Caribe,
em colaboração com os Ministérios e Secretarias de Educação dos diferentes países
participantes.
O LLECE já implementou dois estudos anteriores (PERCE e SERCE) que formam o marco
de referência explícito para a execução deste novo estudo. O PERCE, aplicado no ano
1997, avaliou as aprendizagens de Leitura e Matemática nas 3a e 4ª séries da Educação
Primária. O SERCE, por sua vez, avaliou os rendimentos de aprendizagens em linguagem
(Leitura e Escrita) e Matemática (3a e 6ª séries), e alguns países também avaliaram em
Ciências. Ambos os estudos buscaram também explicar os fatores associados aos níveis de
aprendizagem identificando as características dos estudantes, das turmas e das escolas,
enfatizando aqueles que são suscetíveis de ser modificadas através de mudanças do
sistema educacional. Os resultados desses estudos podem ser consultados na página do
Inep (http://portal.inep.gov.br/estudos-regionais-comparativos).
Em muitos dos países participantes, os resultados foram amplamente debatidos,
subsidiando as medidas adotadas para a melhoria deste estudo. Em outros, porém, este
impacto foi menor.
O TERCE considera a aplicação de provas de Linguagem (Leitura e Escrita) e Matemática
(4º e 7º anos) e Ciências Naturais (7º ano) a estudantes do ensino fundamental, junto
com uma série de questionários a distintos atores do sistema escolar. Seu propósito é
conhecer os níveis de aprendizagem dos estudantes e identificar os fatores associados a
tais desempenhos. Cabe destacar, portanto, que as pontuações que se obtêm nas provas
podem ser interpretadas, analisados e entendidos a partir de variáveis e fatores próprios
dos estudantes e suas famílias, a sala de aula e o rol de professores, a organização e
cultura da escola, e uma série de elementos associados à estrutura educacional do país.
Assim, provas e questionários são dois tipos de instrumentos igualmente importantes no
marco deste Estudo.
Um elemento importante que distingue este estudo de outras medições internacionais é
que o TERCE é uma medição que está alinhada com o curriculum dos países participantes.
Esse aspecto, que sem dúvida alguma foi um desafio adicional para a elaboração das
provas e questionários, aporta uma explícita vinculação com a realidade educacional da
região e, neste sentido, fornecerá informação muito pertinente para a tomada de decisões
que contribuam para a melhoria da qualidade da educação que recebem os estudantes.
Isto porque o nível de desempenho que alcancem os estudantes de cada país nas provas
será um reflexo não daqueles que sabem e são capazes de fazer com base em um
conjunto de conteúdos e habilidades, mas que remitirá diretamente ao que cada país e a
região como um todo tem definido explicitamente como saberes esperados dos
estudantes.
O TERCE irá avaliar a qualidade da educação oferecida em 15 países da região: Argentina,
Brasil, Chile, Colômbia, Costa Rica, Equador, Guatemala, Honduras, México, Nicarágua,
Panamá, Paraguai, Peru, República Dominicana e Uruguai; também participa deste estudo
o estado mexicano de Nuevo León. O Brasil participa por meio do Instituto Nacional de
Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Ao Inep cabe o papel de
coordenar a aplicação dos testes em amostra de alunos das 4º e 7º anos do Ensino
Fundamental, fazer o processamento e a correção eletrônica dos testes de múltipla
escolha. Caberá ao Inep, também, a correção dos itens abertos (de resposta construída
pelo aluno).
Com o propósito de realizar o estudo corretamente e cumprir com os requisitos
envolvidos, assim como assegurar a qualidade dos instrumentos e procedimentos de
coleta e análise da informação, o estudo está organizado em distintas fases:
2
Fase 1: Análise curricular: a Coordenação Técnica do LLECE encargou o Instituto
Colombiano para a Avaliação da Educação (ICFES) uma revisão da análise curricular
elaborada para o SERCE, identificando que mudanças curriculares transcorreram desde
então e incorporando na análise os currículos dos países que não participaram da análise
curricular anterior. O ICFES desenvolveu um documento de ajuste à análise curricular do
SERCE, a partir do qual se elaboraram as especificações para as provas TERCE.
Fase 2: Construção dos instrumentos: O MIDE UC, em seu papel de sócio implementador
da CT do LLECE, foi encargado de elaborar os itens das provas-piloto do TERCE. Cabe
destacar que os países participantes do estudo foram convidados a participar da
construção e de uma capacitação para elaboração, após o que, os itens foram revisados e
avaliados pelos especialistas para serem incluídos nas provas.
Todos os itens das provas-piloto e as perguntas dos questionários foram exaustivamente
revisados pelos países, para poder fazer as adaptações linguísticas e culturais pertinentes.
3
Fase 3: Aplicação-piloto: a etapa de pré-teste dos instrumentos foi fundamental para
assegurar a qualidade do estudo, pois permitiu avaliar os procedimentos e os
instrumentos que serão aplicados em 2013 em todos os países participantes. A aplicaçãopiloto foi levado a cabo entre maio e junho de 2012 nos países com calendário escolar
norte e entre setembro e novembro do mesmo ano nos países com calendário escolar sul.
O pré-teste brasileiro ocorreu em de novembro de 2012 e envolveu uma amostra de
escolas distribuídas em municípios de 13 Unidades da Federação. A seleção de escolas
teve como base os alunos matriculados no 4º e 7º anos (ou 3ª e 6ª séries) do Ensino
Fundamental, tendo sido definido para cada região um percentual equivalente ao número
de escolas constante no Censo.
Fase 4: Análise do piloto e ajuste de instrumentos: após a aplicação piloto se realizou um
processo de análise dos itens com o propósito de selecionar aqueles que apresentaram um
melhor funcionamento e montar, a partir deles e cuidando de adequada cobertura da
tabela de especificações, as versões definitivas dos instrumentos.
Fase 5: Aplicação definitiva: atualmente nos encontramos na fase de aplicação definitiva,
que se realizará durante o presente ano 2013. A ela seguirão as fases de análise e difusão
dos resultados.
No Brasil, os testes serão aplicados entre os dias 15 e 25 de outubro do ano em curso.
Todas as escolas que participam do estudo serão selecionadas pelo LLECE de maneira
aleatória, mediante procedimentos estatísticos validados pra este estudo. Para a aplicação
dos instrumentos do TERCE no Brasil foi delineada uma amostra probabilística baseada
nos dados do Censo Escolar contemplando os estratos de interesse (subpopulações de
alunos para os quais se pretende publicar resultados), para cada uma das séries e
disciplinas pesquisadas.
Os dados obtidos a partir desta avaliação terão caráter confidencial e serão empregados
exclusivamente para poder oferecer informações sobre a qualidade do sistema educacional
no sei conjunto. Não haverá nenhuma consequência administrativa a partir dos resultados
e não serão divulgados dados sobre cada escola individualmente.
Para responder as perguntas do TERCE, serão aplicados dois tipos de instrumentos:
4
Provas: são provas que os alunos respondem para avaliar seu nível de aprendizagem
nas áreas de Linguagem (Leitura e Escrita), de Matemática e de Ciências. São provas
conhecidas como de “lápis e papel” e nelas os alunos respondem uma série de
perguntas.
o Na prova de Leitura, os alunos deverão ler alguns textos e responder a
perguntas de múltipla escolha (de acordo com o texto que leram, elegem a
resposta correta entre quatro alternativas apresentadas).
o Na prova de Escrita, os alunos deverão escrever um rascunho e um texto de
acordo com uma série de orientações apresentadas.
o Nas provas de Matemática e de Ciências, deverão responder perguntas de
múltipla escolha (os alunos terão que escolher a alternativa correta entre quatro
oferecidas); também responderão a perguntas com respostas abertas, ou seja,
eles terão que responder à pergunta de forma que se perceba qual foi o
procedimento utilizado para se chegar à resposta final.
Questionários de fatores associados: estes são questionários mediante os quais se
tenta identificar características do ambiente escolar e familiar dos alunos avaliados. Os
questionários coletam informações sobre as condições e formas nas quais o processo
de ensino-aprendizagem acontece, assim como as opiniões ou percepções dos
diferentes atores (alunos, docentes, diretores e família).
Para as questões de múltipla escolha a correção é eletrônica. Para as questões de
resposta construída é feita uma codificação das respostas por uma banca de professores
das áreas devidamente orientados sobre como se dá essa devidamente capacitada para
que o procedimento de codificação seja igual para todos os países. A correção destes
testes deve ocorrer em perfeita consonância com os demais países onde a avaliação está
ocorrendo. Uma vez concluída a análise dos resultados, em 2014 serão divulgados os
resultados de desempenho, com sugestões/recomendações de ações voltadas para
melhoria da qualidade da educação ministrada nos países da América Latina e o Caribe.
A seguir, descrição dos instrumentos a serem aplicados em cada escola, com indicação da
modalidade de aplicação e público-alvo.
5
Quadro 1. Instrumentos a serem aplicados e modalidade de aplicação.
Instrumento
Nome
Respondente
Provas
Linguagem (Leitura e
Escrita)
Matemática
Ciências da Natureza
Aluno
Questionários
Forma de aplicação
Aluno 4º e 7º
Aluno 7º
Aplicação coletiva,
em sala de aula
Aluno 4º e 7º
Professores das
disciplinas avaliadas
nas turmas
selecionadas
Pais ou responsáveis
do aluno
Diretor
Professor
Família
Diretor
Auto-aplicado
Auto-aplicado
Auto-aplicado
A aplicação dos instrumentos será realizada por Aplicadores externos à escola, que serão
devidamente capacitados. Os Aplicadores portarão uma credencial expedida pelo Inep,
juntamente com seu documento de identidade.
As atividades com os alunos serão realizadas durante dois dias e estarão sob a
responsabilidade do Aplicador. O LLECE estabeleceu como padrão de aplicação que
nenhum professor deve estar presente na sala de aulas durante o período de
aplicação das provas e questionários aos alunos. Esta orientação tem como único
propósito assegurar que todos os alunos participantes do estudo serão avaliados sob as
mesmas condições nas escolas de todos os países participantes. Na tabela 2, se apresenta
a distribuição do tempo para a aplicação dos instrumentos a estudantes de 4º ano.
Tabela 2. Cronograma de aplicação das provas para uma turma de Quarto Ano.
PRIMEIRO DIA
SEGUNDO DIA
Prova de Leitura
Prova de Matemática
Instruções
Instruções
Desenvolvimento (60 minutos)
Desenvolvimento (60 minutos)
Recolhimento do material
Recolhimento do material
Pausa (30 minutos)
Pausa (30 minutos)
Prova de Escrita
Questionário do Estudante
Instruções
Instruções
Desenvolvimento (45 minutos)
Desenvolvimento (aproximadamente 20 minutos)
Recolhimento do material
Recolhimento do material
Entrega de Questionários da Família
Recebimento dos Questionários da Família
6
Como pode ser observado na tabela, os tempos de aplicação e de pausa estão
previamente estipulados e não devem ser alterados. Modificar esses tempos pode
invalidar os objetivos do estudo.
É importante, além disso, que durante os tempos destinados à resposta dos instrumentos,
os alunos não sejam distraídos nem perturbados de nenhum modo, de maneira que
possam se encontrar nas melhores condições para trabalhar.
Para os alunos do 7º ano, os procedimentos são os mesmos. Na tabela 3 está a
distribuição do tempo para a aplicação dos instrumentos a estudantes desse ano.
Tabela 3. Cronograma de aplicação das provas para uma turma de Sétimo Ano.
PRIMEIRO DIA
Prova de Leitura
Instruções
Desenvolvimento (60 minutos)
Recolhimento do material
Pausa (30 minutos)
Prova de Escritura
Instruções
Desenvolvimento (45 minutos)
Recolhimento do material
Pausa (15 minutos)
Questionário do Estudante
Instruções
Desenvolvimento (aproximadamente 45 minutos)
Recolhimento do material
Entrega de Questionários da Família
SEGUNDO DIA
Prova de Matemática
Instruções
Desenvolvimento (70 minutos)
Recolhimento do material
Pausa (30 minutos)
Prova de Ciências
Instruções
Desenvolvimento (60 minutos)
Recolhimento do material
Recebimento dos Questionários da Família
Em conjunto com os instrumentos que serão aplicados aos alunos, conforme demonstram
os cronogramas anteriores, o Aplicador deverá também entregar os questionários aos
professores de Língua Portuguesa, de Matemática e de Ciências da(s) turma(s) que
estará(ão) participando da avaliação.
O outro questionário é dirigido às famílias dos alunos avaliados e deverá ser respondido
por um pai, mãe ou responsável pelo(s) aluno(s). O Aplicador combinará com o(a)
Diretor(a) da escola a melhor maneira de aplicar este questionário à família dos alunos
(por exemplo: os questionários podem ser enviados pelas crianças no primeiro dia e
7
devolvidos no dia seguinte ou a escola pode convocar os pais para que respondam o
questionário na própria escola).
Também existe um Questionário do Diretor, que lhe será entregue pelo Aplicador na
primeira hora do primeiro dia de avaliação. O(A) Diretor(a) e o Aplicador combinarão um
horário para a devolução do questionário devidamente respondido. No ato da devolução,
o(a) Diretor(a) poderá esclarecer qualquer dúvida surgida durante o preenchimento do
questionário.
A presença do(a) Diretor(a) é importante para respaldar a aplicação do TERCE e apoiar o
Aplicador no caso de algum imprevisto. O Aplicador entrará em contato com a direção da
escola com antecedência e, no primeiro dia de aplicação, deverá solicitar a realização de
uma pequena reunião com o objetivo de afinar alguns detalhes, principalmente no que
tange à aplicação do Questionário da Família.
Para que o estude alcance seus objetivos, cada escola terá um interlocutor. Na maior
parte dos casos esse interlocutor será o(a) próprio(a) diretor(a). Caso tenha dificuldades
para assumir esta função, o(a) diretor(a) indicará outra pessoa da instituição.
As atividades que serão realizadas pela pessoa que assumirá o papel de interlocutora na
escola são:
Informar a comunidade escolar da participação no TERCE;
Prever a organização necessária para a realização da avaliação;
Apoiar o Aplicador no dia da avaliação.
Ao informar aos principais atores da comunidade escolar, é necessário esclarecer os
objetivos do estudo, sensibilizando toda a comunidade escolar par colaborar. Também é
essencial informar que será respeitado o princípio confidencial das informações e que não
haverá decisões administrativas associadas aos resultados desta avaliação (os resultados
não serão divulgados por escola individualmente).
Para a realização deste estudo, portanto, é necessário prever a organização de alguns
aspectos para facilitar o adequado desenvolvimento dos instrumentos na escola:
8
Verificar a disponibilidade da aplicação do TERCE e adequação das salas para as datas
da avaliação;
Verificar se a data da aplicação do TERCE não irá coincidir com as atividades do
calendário escolar;
Assegurar a presença dos professores das turmas selecionadas;
Definir qual a maneira mais apropriada para realizar a aplicação dos questionários para
as família dos alunos selecionados;
Fornecer a lista dos alunos das turmas de 4º e de 7º anos.
Caso a escola tenha qualquer dificuldade para a realização do TERCE, deve comunicar e
solicitar assessoramento à Diretoria de Avaliação da Educação Básica do Inep pelos
telefones (61) 2022-3305, 2022-2020 ou 2022-3359 (preferível) e endereços eletrônicos
[email protected] ou [email protected].
Finalmente, é essencial que o conteúdo das provas seja mantido em sigilo, pois
elas serão aplicadas em avaliações futuras do LLECE. Contamos com sua
compreensão e apoio.
Agradecemos antecipadamente por sua colaboração.
Marco César Araujo Pereira
 [email protected]
 [email protected]
 55-61-2022-3359
 55-61-9288-2893
Coordenação-Geral de Estudos e Disseminação (CGEDI)
Diretoria de Avaliação da Educação Básica (DAEB)
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep)
SRTVS, Quadra 701, Bloco M, Edifício Sede do Inep - CEP: 70340-909 Brasília – DF
9