GRAZIELLA ARAUJO DE OLIVEIRA LAPKOSKI
A AVALIAÇÃO DE LEITURA EM INGLÊS COMO LÍNGUA
ESTRANGEIRA NO CENTRO DE LÍNGUAS DA UFPR CELIN
Monografia apresentada à disciplina de
Orientação Monográfica II como requisito parcial
à conclusão do Curso de Letras Inglês,
habilitação em Bacharelado, ênfase em Estudos
Lingüísticos, Setor de Ciências Humanas, Letras
e Artes, Universidade Federal do Paraná
Orientadora: Profª. Clarissa M. Jordão
CURITIBA
2005
SUMÁRIO
ABSTRACT................................................................................................................iii
RESUMO....................................................................................................................iv
1 – INTRODUÇÃO ......................................................................................................1
1.1 - PRESSUPOSTO INICIAL................................................................................1
1.2 - JUSTIFICATIVA ..............................................................................................2
1.3 - OBJETIVOS ....................................................................................................3
2 – PRESSUPOSTOS TEÓRICOS .............................................................................5
2.1 - A IMPORTÂNCIA DO CONCEITO DE LEITURA ............................................5
2.2 - CONCEITO DE LEITURA................................................................................6
2.3 - DEFINIÇÕES...................................................................................................9
2.4 - OS TESTES: IMPORTÂNCIA E CONCEITOS ..............................................10
2.5 - TESTES DE LEITURA: FATORES DE INTERFERÊNCIA ............................14
2.6 - TESTES DE LEITURA: A VALIDAÇÃO NO CELIN.......................................15
2.7 - TIPOS DE TESTE (TÉCNICAS PARA TESTAR LEITURA) ..........................17
3 – METODOLOGIA .................................................................................................22
3.1 - EMBASAMENTO E ESCOLHA METODOLÓGICA .......................................22
3.2 - LEVANTAMENTO DOS DADOS...................................................................24
4 – CLASSIFICAÇÃO DOS TESTES .......................................................................26
4.1 - CLASSIFICAÇÃO DOS TIPOS DE TESTES DE LEITURA...........................26
4.1.1 - Básico II ..................................................................................................26
4.1.2 - Básico IV.................................................................................................26
4.1.3 - Pré-intermediário II..................................................................................26
4.1.4 - Intermediário II ........................................................................................26
5 – ANÁLISE DOS TESTES .....................................................................................27
5.1 - CONSIDERAÇÕES E ANÁLISE DE ITENS ..................................................27
5.1.1 - Ordenar...................................................................................................27
5.1.2 - Respostas curtas ....................................................................................28
5.1.3 - Preencher lacunas ..................................................................................30
5.1.4 - Verdadeiro ou Falso................................................................................31
5.1.5 - Transferir informação ..............................................................................32
5.1.6 - Múltipla escolha ......................................................................................33
6 – ANÁLISE DOS QUESTIONÁRIOS .....................................................................34
6.1 - ANÁLISE DOS DADOS OBTIDOS NOS QUESTIONÁRIOS. .......................34
7 – CONCLUSÃO .....................................................................................................56
REFERÊNCIAS.........................................................................................................60
ANEXOS ...................................................................................................................61
ii
ABSTRACT
The Evaluation of Reading in English as a Foreign Language at UFPR
Language Center – CELIN
The starting point of this research was the assumption that the theoretical
knowledge of reading in English as a Foreign Language and of reading tests would
be fundamental to English teachers development. In addition, there was the
supposition that the lack of that knowledge could influence the validity of the
designed tests. The main objectives of this study were to carry out a survey and an
analysis of: first, the reading tests that were designed and used in an English course
of a language center; second, the work with reading done in class and also, the
reading tests design, in the same context. The analysis, that aimed to verify the
assumptions made, showed the existence of some problems on those tests design.
This could compromise the fulfillment and the correction of some activities. It was
also verified that those problems could have been anticipated and even sorted out if
the teachers had a greater theoretical knowledge of the subject. Besides, there was
the intention of knowing if such language center teachers were conscious of the
existence of some difficulties in the referred tests design and/or interpretation. The
survey showed that the teachers identified a gap in their theoretical development and
they were conscious of their own difficulties. Therefore, it can be concluded that
those theoretical knowledge exceed a significant influence over reading tests design
of English as a Foreign Language. Furthermore, the research also indicates the
necessity of more studies on the related area for teachers development, promoting
the improvement of these professionals performance.
Key words: EFL; teacher development; reading; assessment; test design.
iii
RESUMO
A Avaliação de Leitura em Inglês como Língua Estrangeira no Centro de
Línguas da UFPR - CELIN
O ponto de partida dessa pesquisa foi o pressuposto de que o conhecimento
teórico sobre leitura em inglês como língua estrangeira e sobre testes de leitura seria
fundamental na formação de professores de inglês. Além disso, havia a suposição
de que a falta desses conhecimentos poderia influenciar a validade dos testes
elaborados. Os objetivos principais deste estudo eram fazer um levantamento e uma
análise: primeiro, dos testes de leitura que foram elaborados e aplicados no curso de
inglês de um centro de línguas; segundo, do trabalho realizado com a leitura em sala
de aula e também da elaboração dos testes de leitura, no mesmo contexto. As
análises, que visavam verificar as pressuposições feitas, demonstraram a existência
de alguns problemas na elaboração daqueles testes. Isso poderia comprometer a
resolução e a correção de algumas atividades. Verificou-se, também, que aqueles
problemas poderiam ter sido antecipados e até solucionados, caso os professores
tivessem maior conhecimento teórico sobre o assunto. Além disso, havia a intenção
de saber se os professores daquela escola estavam cientes da existência de
algumas dificuldades no trabalho realizado com a leitura em sala de aula e da
influência dessas dificuldades na elaboração e/ou interpretação dos referidos testes.
A pesquisa demonstrou que os professores identificavam uma lacuna na sua
formação teórica e estavam conscientes das próprias dificuldades. Assim sendo,
pode-se concluir que esse conhecimento teórico sobre leitura e avaliação exerce
uma influência significativa na elaboração de testes de leitura em inglês como língua
estrangeira. E a pesquisa indica, também, a necessidade de se possibilitar mais
estudos sobre a referida área, na formação de professores, proporcionando o
aprimoramento do desempenho desses profissionais.
Palavras-chave: EFL; formação de professores; leitura; avaliação; elaboração de
testes.
iv
1
1 – INTRODUÇÃO
1.1 - PRESSUPOSTO INICIAL
O que pude observar na Universidade Federal do Paraná, como aluna
da graduação da Licenciatura em Letras Português/Inglês, é que até o momento,
este curso não apresenta no seu programa nenhuma matéria com um estudo
direcionado especificamente para a avaliação, visando proporcionar ao futuro
profissional um embasamento teórico e/ou prático para a elaboração e aplicação de
avaliações formais e informais. Refiro-me, aqui, ao conceito de Douglas Brown sobre
avaliação formal, como sendo “aqueles momentos designados, durante os quais
administramos um instrumento preparado para os estudantes com o propósito de
medir sua competência na língua” e informal, como sendo “julgamentos constantes,
intencionais ou incidentais, do desempenho dos estudantes”, (BROWN, 2001, p. 384
– minha tradução).
A área de ensino que trata de meios de acessar o conhecimento do aluno é
bastante extensa e ainda com muito trabalho de pesquisa a ser feito. A partir da
minha própria experiência quando comecei a lecionar e observando colegas desta
mesma universidade, nas mesmas condições, meu interesse foi direcionado para o
tipo formal de avaliação, que tradicionalmente chamamos de teste, pois percebi que
quando o professor entra no mercado de trabalho, ele utiliza muitas vezes os testes
elaborados por outros profissionais mais experientes, ou os que são sugeridos nos
livros didáticos. Isto indica que este professor iniciante tende a utilizar os testes que,
intuitivamente, considera mais adequado ao seu método de ensino, testes que nem
sempre correspondem à realidade e às necessidades dos seus alunos.
Apesar de entender que todas as habilidades que podem compor os testes
são de extrema importância, a análise de todas elas seria abrangente demais para
um trabalho monográfico como este, portanto, abordarei somente a questão dos
testes em relação à leitura em língua estrangeira moderna, no curso de língua
inglesa do Centro de Línguas da Universidade Federal do Paraná (CELIN).
Sendo assim, parto do pressuposto de que a falta de um conhecimento
teórico mais específico numa dada área, neste caso testes de leitura de inglês como
2
língua estrangeira, pode comprometer a validade dos resultados obtidos na
aplicação dos mesmos.
1.2 - JUSTIFICATIVA
No ensino da Língua Inglesa como Língua Estrangeira existe a necessidade
de trabalhar a habilidade de ler, tanto quanto a de trabalhar as outras três
habilidades, de escrever, escutar e falar. Os testes de língua inglesa no CELIN são
compostos, obrigatoriamente, de cinco partes, quais sejam: “Listening, Reading,
Writing, Language in Use”, que é a prova escrita e “Speaking”, que é a prova oral.
Sendo assim, vemos que a leitura é parte integrante e fundamental do sistema de
ensino/aprendizagem adotado por este instituto. Além disso, nos últimos semestres,
houve um aumento da procura pelo curso de Inglês para Compreensão de Textos
Acadêmicos nessa escola. Em geral, o público deste curso era composto de
pessoas com pouco ou nenhum conhecimento de inglês e que precisavam da leitura
para dar continuidade à sua vida acadêmica (no mestrado, por exemplo).
Recentemente passamos a ter, também, vários alunos com uma boa experiência na
língua, por haver estudado inglês durante vários anos anteriormente, ou por ter
morado em algum país de língua inglesa e que precisam da leitura, não só para a
vida acadêmica, mas também para a vida profissional que exige uma obtenção e
troca de informações cada vez mais rápida neste contexto globalizado em que
vivemos. Isso indica que a necessidade da leitura é crescente e que precisamos
voltar nossa atenção para esta habilidade rapidamente, se quisermos dar conta
dessa demanda e, ao mesmo tempo, manter e melhorar a qualidade do nosso
trabalho.
No entanto, devido ao trabalho que tenho desenvolvido no curso de
Compreensão de Textos e no curso de inglês como segunda língua no CELIN,
percebi que na mesma medida da necessidade de trabalhar com a leitura há uma
dificuldade em fazê-lo de forma sistemática, demonstrada por vários professores de
inglês desta mesma escola. Isto também me foi relatado em conversas informais por
alguns colegas, vindo de encontro às minhas suspeitas. O problema que geralmente
é levantado em se trabalhar com a leitura em sala é o tempo, que na opinião dos
3
professores, parece não ser suficiente para permitir que o aluno leia um texto (de
aproximadamente meia lauda) e realize algumas atividades envolvendo a
compreensão do mesmo. Este é o argumento principal dado pelos professores para
deixar a leitura como tarefa de casa.
Essa dificuldade de trabalhar com a leitura parece aumentar, quando surge a
necessidade de preparar os testes, porque então, não é apenas uma questão de
utilizar o material que já está pronto, na íntegra, mas de selecionar e preparar o
material a ser utilizado1. E o problema é decidir qual a melhor maneira de se fazer
isso, como e qual texto escolher e que tipo de questão preparar.2
A partir destas considerações surgiram os questionamentos que me levaram
a iniciar este trabalho:

Será que os professores de inglês do CELIN trabalham sistematicamente com
leitura em sala?

Os professores do CELIN têm de fato alguma dificuldade em trabalhar com
leitura?

Qual a origem dessa dificuldade em se trabalhar com leitura em sala?

Que tipo de avaliação formal de leitura está sendo usado no CELIN?

A elaboração parte de uma base teórica, ou da intuição do professor?

Que análise pode ser feita dos tipos de teste de leitura que estão sendo
aplicados no CELIN?
Todos estes questionamentos motivaram-me a investigar o que de fato está
acontecendo na área da leitura e o que há por trás das dificuldades mencionadas.
1.3 - OBJETIVOS
A habilidade de leitura, como dito anteriormente, é tão importante quanto as
outras três. Não se pode desconsiderar a importância do trabalho com leitura que
deve ser realizado em sala, num curso de inglês como língua estrangeira em que o
teste desta habilidade seja obrigatório, como é no CELIN. Assumindo que há, de
1
Ver explicação mais detalhada sobre a vida útil dos testes no CELIN, no item 2.6.
É importante lembrar que, a princípio, a elaboração de testes faz parte das atribuições de todos os professores,
independentemente da matéria, nível e local de trabalho. E mesmo que alguns deles não precisem executar essa
atividade freqüentemente, é bom que estejam preparados para isso.
2
4
fato, uma dificuldade em se trabalhar com a leitura em inglês, conforme sugerido nos
questionamentos feitos na justificativa acima, o objetivo geral deste trabalho é tentar
entender a razão da dificuldade encontrada no desenvolvimento desse trabalho com
leitura, fazer uma ordenação sobre o conhecimento específico que vem sendo
produzido na área de testes de leitura em inglês, para então analisar os testes de
leitura, que estão sendo elaborados pelos professores do curso de inglês do CELIN.
Os objetivos específicos deste trabalho são:
1. Levantamento dos tipos de testes de leitura utilizados pelos professores do
curso de inglês como língua estrangeira do CELIN, nos 4 (quatro) níveis
abaixo citados, nos períodos respectivamente especificados3.

Básico II - 2º bimestre do 1º semestre de 2005

Básico IV - 2º bimestre do 1º semestre de 2005

Pré-Intermediário II - 2º bimestre do 2º semestre de 2004

Intermediário II - 2º bimestre do 1º semestre de 2005
2. Levantamento e discussão da orientação dos professores no que se refere à
elaboração dos testes de leitura de língua inglesa.
3. Levantamento de referencial teórico relativo a testes, que possibilite a análise
dos testes em questão.
4. Classificação e análise destes mesmos testes, com base na pesquisa teórica.
3
A explicação da escolha dos níveis será dada oportunamente, no Levantamento de Dados feito na seção 3.2.
5
2 – PRESSUPOSTOS TEÓRICOS
2.1 - A IMPORTÂNCIA DO CONCEITO DE LEITURA
De acordo com ALDERSON, “Para elaborar um teste ou procedimento de
avaliação para leitura, nós devemos certamente apelar, mesmo que intuitivamente,
para algum conceito do que significa ler textos e entendê-los.”4 (ALDERSON, 2002,
pp.1 e 2 – minha tradução)5 Ele diz também, que não podemos esperar até que
tenhamos conhecimento o bastante sobre uma área do conhecimento para só então
começarmos a preparar os testes. Isso parece evidente, porque se tivéssemos que
esperar, dificilmente começaríamos a elaborar testes, tão grande é o volume de
conhecimento e, conseqüentemente, tempo de que precisaríamos dispor. No
entanto, minha experiência como docente na área de leitura e os estudos que tenho
feito indicam que a intuição apenas não basta. A grande responsabilidade que
envolve a elaboração de um instrumento tão importante no processo de
ensino/aprendizado como um teste, evidencia a impropriedade de baseá-lo apenas
na intuição. O próprio ALDERSON (2002, p.2) deixa isso claro, quando propõe a
questão “Como é possível testarmos se alguém entendeu um texto se nós não
sabemos o que queremos dizer com ‘entender’?”. A falta desse conhecimento
teórico sobre a leitura e como trabalhá-la em sala, por exemplo, leva muitos
profissionais a pressupor que os alunos já sabem ler e compreender textos em
língua materna e que, portanto, conhecendo o léxico mínimo necessário em uma
determinada área (por exemplo, cinema, características físicas ou psicológicas,
saúde, etc), trabalhado na oralidade, por exemplo, eles serão capazes de fazer a
transferência da habilidade de leitura em língua materna para a língua alvo e
poderão fazer a leitura e suas atividades complementares, sozinhos em casa. De
maneira geral, isto indica que muitos professores acabam relegando a leitura ao
segundo plano durante as aulas, porque esta é uma atividade que demanda mais
tempo. O problema é que na hora do teste de leitura, nem sempre os alunos estão
4
Neste trabalho, “ler” um texto significa ser capaz de decodificar a linguagem escrita utilizada. “Entender”, ou
“compreender” um texto significa ser capaz de apreender a mensagem transmitida pelo autor, de captar o
significado pretendido.
5
Com exceção das citações de Foucambert, todas as outras desta seção (2) são traduções livres do original.
6
preparados adequadamente e nem sempre esses testes refletem o que realmente se
pretende avaliar.
Assim como ALDERSON, FOUCAMBERT (1994, p.10) também defende a
importância da formação teórica do professor, e o faz da seguinte maneira:
“ Confundiu-se a descrição dos métodos pedagógicos com a informação sobre leitura. Os
professores são profissionais que saberão fazer as escolhas que lhes convêm desde que
tenham acesso à informação teórica que lhes está faltando hoje em dia. [...]
[...] É indispensável que o currículo da formação inicial dos professores e os estágios de
formação contínua dediquem espaços significativos a essa informação, que está disponível,
porém não é divulgada.”
De fato o que pude perceber na universidade, enquanto aluna, é que se faz
uma grande discussão sobre os textos e seus significados, principalmente os
literários, mas, no que diz respeito à leitura em inglês como língua estrangeira,
pouco se discute sobre as teorias que envolvem a leitura e sua aplicação
pedagógica, sobre os diferentes tipos de texto e como trabalhar com eles em sala de
aula, ou como analisar os diferentes tipos de atividades que podem ser elaboradas a
partir de um texto e o que elas realmente avaliam. Podemos, então, compreender de
onde vem a dificuldade dos profissionais em fazer as escolhas necessárias na área
da leitura, na elaboração de testes de inglês. Sem um conhecimento teórico que lhes
sirva de base, resta-lhes a intuição de que ALDERSON nos fala.
2.2 - CONCEITO DE LEITURA
Percebendo a importância do conhecimento teórico do conceito de leitura, o
próximo passo é justamente saber com que conceito(s) de leitura trabalhar.
FOUCAMBERT (1994, p.5) diz que “Ler significa ser questionado pelo mundo
e por si mesmo, significa que certas respostas podem ser encontradas na escrita,
significa poder ter acesso a essa escrita, significa construir uma resposta que integra
parte das novas informações ao que já se é.” O que se deve apreender do que ele
diz é que ler é um processo ativo por parte do leitor e não passivo, como costumavase pensar há poucas décadas. Ler não é apenas atribuição de significado ao que
está escrito, mais que isso, ler é a construção de sentido que se faz da mensagem
transmitida a partir do conhecimento de mundo que se tem, para que essa nova
7
mensagem, ou parte dela, passe a fazer parte do próprio leitor. E é exatamente isso
que lemos em CARRELL (1987, p. 24): ...não apenas o leitor é um participante ativo
no processo de leitura, fazendo predições e processando informação, mas tudo na
experiência ou formação de conhecimento prévia do leitor representa um papel
potencial no processo.” O leitor, portanto, é a peça principal no processo de leitura,
sem o qual não há razão para o texto, nem construção de sentido possível. É a partir
do leitor que um texto passa a existir, de fato, como veículo transmissor de
mensagens. E, considerando que cada leitor constrói sentidos novos a partir do seu
conhecimento prévio e que este conhecimento e diferente em cada leitor, podemos
entender que toda leitura que se faz de um mesmo texto é particular e única.
COHEN afirma que “Ler requer que o leitor supra o significado ativamente
com regularidade.” (1994, p.212) Ou seja, para ler o leitor deve interagir com o texto.
Todo texto pressupõe algum conhecimento prévio que vai ser necessário para que o
leitor possa interagir com o conteúdo desse mesmo texto. O leitor, então, faz um
“diálogo” entre o que ele já sabe e o que está lendo, criticando, complementando,
aceitando, recusando, etc, e assim, ele reestrutura e constrói novas idéias, conceitos
e conhecimentos. No entanto, tanto o conhecimento pressuposto quanto as
construções de sentido têm uma limitação imposta pelo contexto em que o texto é
lido. Se assim não fosse, os textos se tornariam inviáveis num dado momento,
devido ao volume de informações, sempre crescente, que conteriam. Da mesma
forma, a variação de sentidos apreendidos impossibilitaria a chegada a um sentido
geral que pudesse ser partilhado pela maioria dos leitores em questão, uma vez que
cada leitor poderia inferir qualquer coisa que, para ele, fizesse sentido. Nesse
modelo de leitura interativa que COHEN adota a leitura “...é vista como uma
interação entre o texto e o leitor,...”(1994, p.212) e a compreensão6 desse texto vai
depender tanto das características do texto, como do conhecimento prévio que o
leitor tem sobre o assunto abordado. Quanto maior o conhecimento prévio do
assunto, mais fácil se torna a compreensão de um texto. Da mesma forma, quanto
mais complexa é a abordagem de um assunto em um texto, mais conhecimento
prévio se faz necessário, para uma adequada compreensão do mesmo.
6
Ver definição de “compreensão” utilizada ao longo deste trabalho na nota de roda-pé da seção 2.1, p. 5.
8
Em geral, quando lemos algum texto é porque queremos encontrar alguma
“coisa” naquilo que está escrito. Pode ser o desfecho de algum acontecimento,
fictício ou não, a cotação da bolsa de valores, ou a opinião de quem escreveu um
artigo, por exemplo. Na sala de aula, o aluno geralmente não escolhe o que quer ler,
cabe então ao professor proporcionar ao aluno uma razão para ler um determinado
texto. Seja qual for a situação, NUTTALL (2000, p. 3) denomina essa “coisa” que
queremos encontrar de “mensagem”. O que nos interessa na leitura, portanto, é a
mensagem que o autor do texto quer transmitir. Em seu livro Teaching Reading
Skills in a Foreign Language, NUTTALL preocupa-se
“...com o significado,
especificamente com a transferência de significado de mente para mente: a
transferência de uma mensagem do escritor para o leitor.” As visões de leitura que
estes autores apresentam, são visões gerais, que não se concentram em aspectos
específicos dos diferentes tipos de leitura existentes, em relação ao diferentes tipos
de textos, por exemplo. Mas, embora amplas, são bastante adequadas aos
propósitos deste trabalho, pois no que tange testes de leitura em inglês como língua
estrangeira, o que basicamente nos interessa é que o aluno seja capaz de construir
significados novos, através da interação com o significado pretendido pelo autor de
uma mensagem7, transmitida por meio da escrita, seja ela qual for e que possa
também interagir com o texto, independentemente do tipo, na busca e elaboração
das informações que sejam mais relevantes naquele momento (saber qual o tópico
de um texto, qual a opinião do autor sobre o assunto, ou uma informação precisa
sobre o assunto abordado, por exemplo). São essas informações que nos vão
permitir analisar se um aluno será capaz de utilizar a habilidade de leitura na
compreensão e construção de significados a partir de mensagens escritas em inglês.
O conhecimento de algum conceito de leitura, sem dúvida, é essencial para o
desenvolvimento de um trabalho com leitura em sala de aula, bem como com testes
de leitura. Mas além desse conceito, outros também são fundamentais, inclusive
para o desenvolvimento desta pesquisa, tais como os conceitos de mensuração,
avaliação e testes. Sendo assim, antes de abordar o assunto de testes propriamente
dito, estes conceitos serão vistos, através de uma definição dos mesmos.
7
Uma mensagem, no contexto da leitura, pode ser uma idéia, um sentimento, um fato, ou alguma outra coisa que
uma pessoa queira compartilhar com os possíveis leitores do seu texto.
9
2.3 - DEFINIÇÕES
Alguns termos, embora bastante utilizados no meio educacional, nem sempre
estão claramente definidos nas suas nuanças, por isso considero importante dar a
definição de três deles. Segundo BACHMAN (1991, pp. 18-24):
Mensuração (Measurement)8: “Mensuração nas ciências sociais é o processo de
quantificar as características de pessoas de acordo com procedimentos e regras
explícitas. Esta definição inclui três aspectos distintos: quantificação, características,
e procedimentos e regras explícitas.”
Mensuração
é
geralmente
baseada
na
observação
naturalista
do
comportamento em um dado período de tempo, mas não vai necessariamente levar
a resultados que comprovem as habilidades ou atributos específicos do
comportamento do indivíduo. Por exemplo, um professor pode mensurar a
habilidade oral em inglês de um amigo com quem conversa regularmente há muito
tempo nesta língua e até mesmo dar uma nota para a sua produção oral, de acordo
com os critérios de nivelamento que conhece, no entanto, essa mensuração não
pode ser usada como prova dessa habilidade, uma vez que o professor não seguiu
os procedimentos padrões exigidos por um teste de nivelamento. Devido a
limitações como essa, que a mensuração apresenta, os teste de linguagem são
considerados mais apropriados para garantir que a amostra de linguagem obtida de
fato serve para os propósitos pretendidos.
Teste (Test): “…um teste é um instrumento de medição elaborado para obter uma
amostra do comportamento de um indivíduo. Como um tipo de medição, um teste
necessariamente
quantifica
características
de
indivíduos
de
acordo
com
procedimentos explícitos.”
A grande vantagem do teste reside na sua capacidade de obtenção de tipos
de comportamento possíveis de serem interpretados como sendo evidências da
habilidade testada. Por seguirem procedimentos pré-estabelecidos e por serem
8
Mensuração não é um termo muito freqüente na área de educação. Mesmo assim, para traduzir o termo
“measurement” optei por “mensuração”, por ser a palavra cujo significado mais se aproxima do sentido que o
termo em inglês carrega e por não haver outro termo que, além de definir melhor, seja diferente do usado para a
tradução de “evaluation” (avaliação).
10
preparados especialmente para o propósito utilizado é que os testes de linguagem
são confiáveis, significativos e úteis.
Avaliação (Evaluation): “Avaliação pode ser definida como a coleta sistemática de
informações para o propósito de tomada de decisões.”9 (WEISS, 1972 – citado por
BACHMAN)
O termo “assessment” é empregado como sinônimo de “evaluation” e o termo
correspondente em português também é “avaliação”. Uma das características da
avaliação é a coleta de informações confiáveis e relevantes, mas as informações
não precisam, necessariamente ser quantitativas, assim como não abrangem todos
os tipos de testes, que podem ser usados com propósitos descritivos, por exemplo.
Estabelecendo uma relação entre estes três termos, podemos dizer que: 1)
nem toda avaliação é uma mensuração ou um teste, 2) nem toda mensuração é uma
avaliação ou um teste, 3) nem todo teste é uma avaliação e 4) todo teste é
necessariamente uma mensuração.10
2.4 - OS TESTES: IMPORTÂNCIA E CONCEITOS
Dentro dos estudos relacionados a testes ainda existem muitos termos não
claramente definidos, estabelecidos e devidamente acordados pelos estudiosos. Por
isso, é preciso fazer algumas considerações com relação aos termos que serão
utilizados ao longo deste trabalho. Seguindo o exemplo de Alderson em Assessing
Reading, estou considerando os termos “método”, “técnica” e “formato” de teste
como sendo sinônimos. Da mesma forma, utilizo os termos “item” e “questão”,
indistintamente, como sendo a parte do teste que requer uma resposta do aluno,
seja ela de que tipo for: completar, múltipla escolha ou resposta curta, por exemplo.
É importante deixar claro também, que no contexto em que este trabalho é
desenvolvido, o CELIN, quando me refiro ao professor, considero-o responsável pela
9
Weiss, C. H. Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, NJ:
Prentice-Hall, 1972. (Tradução livre)
10
Para uma melhor compreensão dessa relação, ver no anexo 6 a reprodução do esquema proposto por Bachman
(1991, p.23, fig. 2.1)
11
elaboração de testes também, uma vez que esta é a realidade que se apresenta
neste instituto de línguas.
Mas, o que é um teste? Segundo BROWN (2001, p.384), teste “é um método
para medir a habilidade ou o conhecimento de uma pessoa em um dado domínio.
[...] É um conjunto de técnicas, procedimentos e itens que constituem um
instrumento...”, que exige algum tipo de performance ou atividade por parte do
aluno. E é esta performance ou atividade que será avaliada. Esta definição proposta
por BROWN é abrangente e clara, mas nem por isso simples de se realizar. Alguns
questionamentos ainda se fazem necessários para que percebamos a complexidade
e a relevância da atividade de elaboração de testes de língua estrangeira. E é
importante considerar que a análise do conhecimento que serve de base para a
elaboração dos testes em geral, aplica-se também aos testes de leitura em inglês,
foco deste trabalho.
O primeiro questionamento a ser feito com relação aos estudos sobre testes é
qual a importância de se conduzir estudos na área de testes. Esta importância é
atestada por MCNAMARA (2000, p.4-5), quando ele diz:
“Há muitas razões para se desenvolver uma compreensão crítica dos princípios e práticas de
avaliação de língua. [...] Primeiro, testes de língua representam um papel poderoso na vida
de muitas pessoas, agindo como passaportes para importantes momentos de transição na
educação, em emprego, e em mudança de um país para outro. Desde que testes de língua
são mecanismos para o controle institucional dos indivíduos, é claramente importante que
eles devam ser entendidos, e sujeitos a exame minucioso. Em segundo lugar, você pode
estar trabalhando com testes de língua em sua vida profissional como um professor ou
administrador, preparando para um teste, administrando testes, ou baseando-se em
informações de testes para tomar decisões para o nivelamento de estudantes para
determinados cursos. Finalmente, se você está conduzindo uma pesquisa no estudo da
língua você pode precisar ter medidas da proficiência de língua dos seus sujeitos. ...”
A argumentação de MCNAMARA demonstra com clareza o poder que os
testes dão àqueles que os utilizam. Esse poder acarreta como conseqüências
naturais a responsabilidade com a justiça e o comprometimento com a qualidade dos
testes, que por sua vez, levam diretamente à necessidade de expandir os
conhecimentos sobre o assunto.
Vem então um segundo questionamento, sobre como assegurar que os testes
tenham de fato a qualidade esperada e reflitam o conhecimento do aluno nos
resultados, com justiça. Para isso, existem certos critérios, que precisam ser
observados na elaboração dos testes, garantindo que os mesmos avaliem o domínio
12
pretendido, sem incluir ou deixar que outros fatores possam interferir nos resultados
e/ou na interpretação dos mesmos. Diferentes autores apontam um número diferente
de critérios, ou qualidades, como sendo mais relevantes na qualificação dos testes.
Mas, três desses critérios estão presentes em toda a literatura que trata do assunto:
a praticidade, a confiabilidade e a validade.
Segundo Douglas BROWN, entre os vários critérios pelos quais podemos
avaliar se um teste é adequado ou não, “De longe, o critério mais complexo de um
bom teste é validade, o grau ao qual o teste de fato mede o que se pretende medir.”
(2001, p.387 – minha tradução)
E pelo vasto número de estudos que se vem
conduzindo sobre esse critério, podemos perceber que ele não é o único a ter essa
opinião.
BACHMAN (1991, p. 24-25) diz que “Se nós temos que interpretar a
pontuação num dado teste como um indicador da habilidade de um indivíduo, aquela
pontuação deve ser ambas confiável e válida.” Mas que, “A qualidade mais
importante da interpretação ou uso do teste é a validade, ...”. Ele considera que
“Enquanto a confiabilidade é uma qualidade dos resultados do teste em si, validade
é uma qualidade da interpretação e uso do teste.” Ou seja, os resultados dos testes
devem ser confiáveis, mas válidas serão as interpretações e os usos que serão
feitos das respostas. Uma depende do outro, isto é, para que as interpretações
sejam válidas, os resultados devem ser confiáveis. Dizer isso é o mesmo que dizer
que, em certa medida, a validade depende da confiabilidade, como veremos a seguir
afirmado por Davis et al no Dicionário de teste de linguagem (Dictionary of language
testing - 2002). Apesar dessa visão de BACHMAN de que, na verdade, o que é
válido é a interpretação do resultado e o uso que se faz dele e não o teste em si,
neste trabalho são os itens dos testes que serão analisados como válidos ou não, a
partir dos possíveis resultados que eles podem gerar, porque a intenção é perceber
que a validade de um teste pode e deve ser antecipada na elaboração do mesmo.
Ainda que neste trabalho o critério da confiabilidade não esteja sendo
utilizado, é importante ficar claro que ela fará parte da análise dos testes do CELIN,
mesmo que implicitamente. É preciso partir do princípio de que os resultados dos
testes são confiáveis, ou não haveria sentido em analisá-los quanto à validade. Mas
é importante ressaltar que nem a confiabilidade, nem a validade são absolutas, “no
sentido de que nós nunca podemos atingir medidas perfeitamente livres de erros na
13
verdadeira prática, e a adequação de um uso particular da pontuação de um teste
vai depender de muitos fatores exteriores a ele mesmo.” (BACHMAN, 1991, p.26) É
o avaliador quem vai julgar o quão adequado é um teste e o resultado que ele gera,
e quão confiável e válido um teste precisa ser, para o contexto em que ele é usado.
Por exemplo, em uma prova de suficiência de inglês em que se queira testar a
compreensão de texto, é o avaliador (elaborador do teste) quem vai decidir se uma
tradução do texto, ou parte dele, pode ser considerada indício de que o candidato
entendeu o texto, ou se isso apenas demonstra a habilidade de estabelecer uma
correlação entre as duas línguas, sem que o candidato, necessariamente, tenha
entendido o significado da mensagem transmitida.
Embora a questão da validade esteja sempre em pauta nos estudos sobre
testes e, implícita ou explicitamente, esteja posta na atividade de elaboração de
testes em si, nem sempre ela é considerada ou é possível de ser aprofundada pelos
professores em geral. E na maioria das vezes isto se dá porque nem sempre a idéia
de validade está claramente definida para esses profissionais.
De acordo com o “Dictionary of language testing” (2002, p.221), validade é:
“ A qualidade que mais afeta o valor de um teste, anterior a, embora dependente da,
confiabilidade. Uma medida é válida se faz o que ela tem a intenção de fazer, que é
tipicamente agir como um indicador de um conceito abstrato (por exemplo altura, peso,
tempo, etc.) que ela afirma medir. A validade de um teste de linguagem portanto é
estabelecida pelo grau ao qual ele é bem sucedido em provar uma representação concreta
precisa de um conceito abstrato (por exemplo proficiência, realização, aptidão).
Os tipos de validade referidos mais comuns são:
 conteúdo;
 construto;
 simultâneo;
 previsível.”
Existe também um outro tipo de validade chamada “face validity”, que pode
ser traduzida por validade de aparência. Esta qualidade diz respeito à aparência que
o teste tem da perspectiva de quem vai ser testado. Ou seja, intenção de se obter
esta qualidade nos testes é convencer o aluno de que o teste está de fato testando
aquilo a que se propõe (gramática, oralidade, compreensão de texto, etc).
O conceito de validade é de fundamental importância neste trabalho, porque
é a partir desse critério que pretendo analisar os testes de leitura em inglês
elaborados pelos professores do CELIN. Mais especificamente a validade de
14
conteúdo, que se refere, como o nome diz, ao conteúdo que se pretende medir.
Muitas vezes, inadvertidamente, um teste que é elaborado com a intenção de medir
a capacidade de compreensão de um texto acaba medindo na verdade questões
lexicais e gramaticais. Nesse caso, esse teste não poderia ser considerado válido,
uma vez que não vai apresentar os resultados esperados, não vai ser capaz de
refletir através dos resultados as informações necessárias para a avaliação do
conteúdo pretendido. Essa dificuldade de validação de testes de leitura de inglês
como língua estrangeira acontece em grande parte pela falta do conhecimento
teórico tanto sobre elaboração de testes, quanto de leitura, como dito anteriormente.
2.5 - TESTES DE LEITURA: FATORES DE INTERFERÊNCIA
Para falarmos sobre testes de leitura, primeiro é preciso estar consciente de
que os testes que os professores desenvolvem sempre representam a visão de
leitura que eles têm e o seu conhecimento sobre leitura e sobre testes. Depois, é
extremamente importante que os professores cuidem para não testarem apenas
itens lexicais em testes de leitura, porque como ALDERSON (2002) diz, a
importância do vocabulário na leitura é inegável e é inevitável que o vocabulário
também seja avaliado em testes de leitura.
Na elaboração de testes de leitura de inglês como língua estrangeira,
devemos considerar alguns fatores que podem afetar a avaliação da leitura, e que,
portanto, devem ser analisados com cuidado durante a elaboração de testes.
ALDERSON (2002, cap. 3) afirma que um desses fatores é a dificuldade de um ou
de ambos, do texto e do item do teste. Segundo ele, “É claramente possível fazer
uma questão fácil de textos difíceis, e questões difíceis de textos fáceis.” (pp. 85-6) E
nesse caso, a pontuação de um teste pode ser alta ou baixa variando com a
dificuldade do texto ou do item. Um outro fator de dificuldade que ALDERSON cita é
a dificuldade da linguagem usada na questão. Muitas vezes o texto é adequado, o
nível da questão é apropriado, mas a linguagem usada é tão complexa ou confusa
que a questão se torna difícil.
ALDERSON (2002, cap.3) comenta também alguns fatores que podem
dificultar a leitura dos textos de um teste. Um desses fatores diz respeito à relação
15
entre conhecimento prévio e conteúdo do texto. O fato de o aluno dominar o assunto
tratado no texto pode facilitar a leitura, no entanto um texto que seja muito
especializado pode não estar testando a habilidade de leitura, mas o conhecimento
prévio. Por outro lado, um texto que desenvolva um assunto muito especializado
pode prejudicar aqueles alunos que não detém (quase) nenhum conhecimento sobre
ele, porque neste caso, a dificuldade do léxico e um assunto estranho tornam-se um
obstáculo à compreensão do texto. A extensão do texto pode ser um outro fator de
dificuldade num teste. Não há extensão de texto melhor ou pior, mas a habilidade
que pode ser avaliada pode mudar de acordo com a extensão do texto. Sendo que
testes baseados em textos mais curtos podem depender mais em habilidades de
processamento de sentença (conhecimento sintático, lexical, etc), enquanto que com
textos mais longos, pode-se avaliar mais as habilidades de compreensão mais global
e de relação entre temas, por exemplo.
2.6 - TESTES DE LEITURA: A VALIDAÇÃO NO CELIN
“É importante entender que não há nenhum ‘método melhor’ para testar
leitura. Nenhum único método de teste pode preencher todos os vários propósitos
para os quais nós podemos testar.” (ALDERSON, 2002, p.203) No entanto, alguns
tipos de teste são mais usados por questões de conveniência e eficiência (são mais
rápidos e fáceis de corrigir, por exemplo), e seria ingenuidade pensar que por serem
mais usados esses testes podem ser considerados válidos. O CELIN não é muito
diferente de outras escolas de inglês no que diz respeito a isso, ou com relação aos
conhecimentos sobre testes que os professores têm. Como ALDERSON afirma, não
se deve esperar atingir a elaboração de testes perfeitos, ou descobrir o melhor teste
de leitura em inglês de todos. A intenção é tentar reunir neles o máximo de
qualidades possíveis, é torná-los, além de convenientes, eficientes e válidos.
“O propósito da validação no teste de língua é assegurar a defensibilidade e
justiça das interpretações baseadas na performance do teste.” (MACNAMARA,
2000, p.48) A responsabilidade que envolve a elaboração e aplicação de testes é
muito grande. É fundamental que haja uma boa razão para a aplicação de um teste,
16
no caso da escola de línguas, a passagem de nível, mas é preciso também que ele
possa ser considerado adequado ao propósito e que os resultados obtidos sejam
considerados justos, caso contrário, todo processo é passível de ser contestado e
invalidado.
De acordo com MCMAMARA (2000, p.49),
“A pesquisa conduzida para validar procedimentos de testes pode acompanhar o
desenvolvimento do teste, e é freqüentemente feito pelos próprios elaboradores de teste; isto
é, ele pode começar antes do teste se tornar operacional. Validação idealmente continua
através a vida do teste, conforme novas questões a respeito da sua validade são levantadas,
normalmente no contexto da pesquisa de teste de língua.”
Estas afirmações demonstram a necessidade que o professor tem de
conhecer as noções teóricas básicas da elaboração de testes, ou então, como ele
poderia conduzir uma análise do teste que está elaborando? Além disso, a partir do
que MCNAMARA diz sobre o fato de que a validação deveria continuar ao longo da
vida do teste, podemos analisar um procedimento, que, como parte do quadro de
professores, percebo ser regular no CELIN. Os testes de leitura em inglês são
constantemente refeitos11, os textos são mudados com muita freqüência e,
conseqüentemente, os itens dos testes também mudam. Todas essas alterações
feitas a cada novo semestre não permitem que a validação de um teste atinja um
grau cada vez maior e que o teste seja aperfeiçoado. A situação ideal seria elaborar
os testes de leitura em inglês de tal forma que pudessem ser utilizados por mais
tempo, alterando apenas os fatores que se mostrassem inadequados12.
Segundo BACHMAN e PALMER (1997) várias pesquisas sobre os efeitos dos
métodos de testes na performance dos testes levam à conclusão de que “é sempre
provável que as características das atividades usadas afetem a pontuação dos
testes em algum grau, de tal forma que virtualmente não há nenhum teste que dê
somente informações sobre a habilidade que nós queremos medir.” (p.46) Essa
conclusão traz consigo uma implicação para a elaboração, desenvolvimento e uso
dos testes, que os mesmos autores apresentam, afirmando que, “visto que não
11
Não só os de leitura, mas todos os testes escritos.
Os teste não são entregues aos alunos. Por serem considerados documentos, a posse dos mesmos é da escola.
Portanto, assim como os mesmos materiais de áudio são reaproveitados no “Listening”, os textos utilizados no
teste de leitura também poderiam ser mantidos por mais tempo, com opções de atividades que pudessem ser
usadas alternadamente em semestres subseqüentes.
12
17
podemos eliminar totalmente os efeitos das características da atividade, nós
devemos aprender a entendê-los e controlá-los de maneira a assegurar que os
testes que vamos usar têm as qualidades que desejamos e são apropriados para os
usos para os quais eles são pretendidos.” (p.46) Essas idéias complementam as de
MCNAMARA sobre a validade, exposta acima. Considerando tudo isso, podemos
perceber que a maneira de entender e controlar tais efeitos das características das
atividades é através dos procedimentos de validação de testes, isto é, das análises
que podem ser feitas ao longo do desenvolvimento e ao longo da vida útil dos testes.
Só assim podemos garantir que os mesmos são adequados ao uso que fazemos
deles.
Para entender porque e como o estudo da validação de testes pode ser
importante para o CELIN, é preciso ter em mente que esta é uma escola de
aplicação e, portanto, os professores de inglês que ali se encontram estão visando o
seu desenvolvimento e aperfeiçoamento profissional. O papel do teste no processo
de ensino / aprendizagem é fundamental, visto que os resultados dos mesmos
apresentam um amplo desdobramento, afetando direta ou indiretamente, quem
avalia, quem vai ser avaliado e todas as pessoas envolvidas no processo, como
familiares, professores e até mesmo administradores da escola. Do CELIN os
professores saem para o mercado de trabalho, multiplicando os conhecimentos
adquiridos na prática, somados aos conhecimentos teóricos adquiridos na
universidade, podendo, assim, ser considerado o lugar ideal para a aprendizagem e
prática de desenvolvimento de um trabalho tão fundamental quanto este de
elaboração de testes de leitura em inglês como língua estrangeira.
2.7 - TIPOS DE TESTE (TÉCNICAS PARA TESTAR LEITURA)
Para que os testes de leitura utilizados no curso regular do CELIN possam ser
melhor analisados, é preciso conhecer a nomenclatura relativa aos tipos de teste
relacionados até o momento. Senão todos, pelo menos, a parte deles que se refere
aos testes de leitura em inglês como língua estrangeira e que nos interessa
especificamente.
18
Existem diferentes nomenclaturas e classificações, elaboradas por diferentes
autores. COHEN (1994, cap. 7) relaciona os seguintes métodos de testes de leitura:

Multiple-Choice

Alternatives to multiple-choice
o Summary writing
o Metacognitive judgements
o Question selections
o Multiple acceptable responses
o Prior knowledge

Cloze

C-Test

Recall Protocols

Identifyin the meaning by multiple-choice

Matching

Checking off familiar words

Combining self-report with performance
Apesar da relação apresentada por COHEN ser muito boa, para relacionar os
tipos de testes existentes, escolhi a classificação apresentada por ALDERSON
(2002), porque além de apresentar uma relação bastante abrangente, suas
explicações a respeito dos testes são dadas em uma linguagem bastante acessível,
mesmo para que não tem um conhecimento muito profundo sobre o assunto.13 Isso
é importante neste trabalho, na medida em que uma das intenções é que ele possa
ter uma utilidade prática na informação e formação de professores de inglês.
ALDERSON afirma que todo exercício é um teste em potencial, e que,
portanto, a diferença não está no material em si, mas no propósito para o qual ele é
utilizado. Pode-se deduzir do que ele diz que não há diferença entre tipos de
atividades desenvolvidas especificamente para exercício ou para teste. Os materiais,
em princípio, são os mesmos e a diferença está na forma e no propósito para o qual
eles são utilizados. Cada tipo de exercício é, em potencial, o item de um teste.
13
No entanto, o fato de termos que optar por um destes autores não implica dizer que a classificação a
apresentada por ele é melhor que a dos outros, mas que o trabalho apresentado por ele se adapta melhor aos
propósitos deste trabalho.
19
Sendo assim, os tipos de teste que ALDERSON (2002) apresenta são:
Cloze test: neste tipo de teste retira-se a enésima palavra do texto selecionado,
sendo que ‘n’ geralmente varia entre cada 5ª e cada 12ª palavra. Uma ou duas
sentenças são mantidas intactas no início e no final do texto, para estabelecer maior
coesão textual.
Gap-filling (Preencher de lacunas): este teste diferencia-se do anterior no fato de
que as palavras retiradas são escolhidas racionalmente e não por um procedimento
pseudofortuito. Procura-se deixar um mínimo de 5 a 6 palavras entre cada lacuna.
Multiple-choice (Múltipla escolha): para cada pergunta são dadas várias
alternativas para que se escolha uma ou mais entre elas. Este é um tipo de teste
muito usado em leitura.
Matching (Relacionar): deve-se fazer a correspondência entre dois jogos de
informações neste teste, por exemplo, notícias de jornal e suas manchetes.
Ordering (Ordenar): o objetivo é reordenar corretamente um grupo de palavras,
sentenças, parágrafos ou textos, que estão colocados fora de ordem.
Dichotomous (Verdadeiro ou Falso): para cada sentença relativa a um texto dado,
existem duas alternativas: verdadeiro ou falso / certo ou errado / concorda ou
discorda do texto; ou com uma terceira alternativa, como: não mencionado / não diz.
Editing (Editar): este teste consiste de uma passagem de um texto contendo erros,
que deverão ser identificados e, possivelmente, corrigidos.
C-test: neste tipo de teste é retirada a metade de cada segunda palavra do texto. O
número de letras pode variar um pouco se a palavra tiver número ímpar de letras e
neste caso, deve-se deixar explícito que poderão estar faltando o mesmo número de
letras ou uma a mais. Uma variação deste teste é retirar um número maior ou menor
de letras para serem repostas.
20
Cloze elide test: neste teste, em lugar de retirar palavras do texto, adicionam-se
palavras que não pertencem ao texto e que devem ser identificadas e retiradas.
Short-answer (Respostas curtas): esta é uma alternativa semi-objetiva para os
testes de múltipla escolha. As perguntas feitas devem ser respondidas de forma
breve, com poucas palavras, mas não apenas com Sim/Não ou Verdadeiro/Falso.
Free-recall (Recordação livre): este é um teste em que, após ler o texto, o aluno
coloca-o de lado e escreve tudo que puder lembrar desse texto.
Summary (Resumir): é uma variação do “free-recall”. Neste caso, o aluno deve
fazer um resumo das idéias principais do texto todo, de parte dele, ou das idéias no
texto que estão relacionadas com um dado tópico.
Gapped summary (Preencher lacunas em um resumo): os alunos lêem um texto
e depois, um resumo desse texto, de onde foram retiradas algumas palavras, que só
poderão ser recuperadas a partir da leitura e compreensão das idéias principais do
texto integral.
Information-transfer (Transferir informação): o objetivo deste tipo de teste é
identificar no texto alvo as informações requisitadas e transferi-las, freqüentemente,
para uma tabela, um mapa, um esquema, ou para uma outra forma qualquer. As
informações podem ser constituídas de números, nomes, pequenas frases ou
sentenças; e podem ser pontuadas objetiva ou subjetivamente.
Open-ended (Questão aberta): Este tipo de questão não faz parte da lista de itens
proposta por ALDERSON (2002), aqui apresentada e, por isso mesmo, ele não deixa
muito claro o que entende por “open-ended questions” (questões abertas), limitandose a colocá-las em oposição às “closed questions” (questões fechadas). No entanto,
considerando a existência de itens que não poderiam ser classificados em nenhum
dos tipos por ele relacionados, entendo haver a necessidade de apresentar a visão
de outros autores a respeito desta questão.
21
DAVIES et al no “Dictionary of language testing” (2002 – p.32) considera o
item “open-ended question” como sinônimo dos itens chamados “constructedresponse” (resposta construída) e “extended response” (resposta extendida),
classificando não a questão em si, mas o tipo de resposta que se espera obter
através da questão. Segundo esses autores este tipo de item distingue-se dos
chamados “forced-choice” (escolha forçada) no fato de que neste último o aluno
deve escolher uma das opções propostas e no primeiro o aluno deve formular sua
própria resposta. Além disso, eles consideram alguns dos itens classificados por
ALDERSON e mencionados acima, formas de respostas construídas, por exemplo:
“cloze” e respostas curtas, ou formas de itens de escolha forçada. BACHMAN (1991
– p.129) estabelece uma classificação parecida com a de DAVIES et al, muda
somente os termos e não o que se entende por eles e propõe dois tipos de
respostas esperadas: reposta selecionadas e respostas construídas. NUTTALL
(2000 - p.186) considera as questões abertas, as de múltipla escolha e as de
verdadeiro ou falso como itens pertencentes a um mesmo nível de classificação. Ela
afirma que nas questões abertas o aluno pode dar qualquer resposta que considerar
apropriada, mas que essas questões são particularmente aplicadas a perguntas “Q”,
“Como” e “Porque”.
Apesar da diferença de terminologia empregada pelos estudiosos nessa
classificação, com relação às vantagens e desvantagens desse tipo de item eles
estão de acordo. As desvantagens são que essas questões não poderem ser
avaliadas objetivamente, o que pode dificultar bastante a correção, e que nem
sempre o aluno é capaz de fazer uso da segunda língua para produzir a resposta,
sendo necessária a aceitação do uso da L1 na elaboração da resposta. As
vantagens são a relativa facilidade de elaboração das questões, em relação às de
múltipla escolha. As questões abertas podem ser usadas, praticamente, para
qualquer propósito e principalmente, elas permitem que o professor tenha um
acesso maior à capacidade de compreensão, elaboração e síntese, do aluno.
A meu ver, essa classificação parece não estar estabelecida de forma clara
para todos os autores, ainda. Mesmo assim, estou optando por utilizar a proposta de
classificação das questões abertas apresentada por NUTTALL e considerá-las como
mais um item de classificação nesta lista, por entender que essa proposta é a que
melhor se adapta aos propósitos deste trabalho.
22
3 – METODOLOGIA
3.1 - EMBASAMENTO E ESCOLHA METODOLÓGICA
De acordo com NUNAN (2003, p.3), os escritores, tradicionalmente, fazem
uma distinção binária entre pesquisa quantitativa, que é controlada, objetiva,
generalizável e que assume a existência de fatos que são independentes e externos
ao observador e ao pesquisador, e qualitativa, que considera que o conhecimento é
relativo, que há um elemento subjetivo para todo conhecimento e pesquisa e que
estudos holísticos e não generalizáveis também são justificáveis.
Recentemente, no entanto, esta distinção tem sido considerada simplista e
ingênua por alguns autores citados por NUNAN (2003, p.4-10). O primeiro deles é
GROTJAHN14 (1987), que diz que esta distinção binária qualitativa/quantitativa é
uma simplificação demasiada e que os estudos atuais sobre pesquisa estão levando
em consideração “o método de coleta de dados (se os dados devem ser coletados
experimentalmente ou não-experimentalmente); o tipo de dados produzidos pela
investigação (qualitativos ou quantitativos); e o tipo de análise dos dados conduzida
(se estatística ou interpretativa).”15 A combinação dessas variáveis geram dois
paradigmas “puros”, que por sua vez geram seis paradigmas “híbridos”.
Os
paradigmas puros seriam: “exploratory-interpretive” e “analytical-nomological”. Os
híbridos
seriam:
statistical”;
“experimental-qualitative-interpretive”;
exploratory-qualitative-statistical”;
experimental-qualitative-
“exploratory-quantitative-statistical”;
“exploratory-quantitative-interpretive” e “experimental-quantitative-interpretive”.
O segundo autor é VAN LIER16 (1990, pp. 34-35), que apresenta dois
parâmetros de pesquisa em lingüística aplicada, quais sejam: intervenção / não
intervenção e altamente seletivo / não seletivo. Estes dois parâmetros geram quatro
espaços
semânticos,
que
ele
denomina
de
espaço
“controlado”,
espaço
“dimensionado”, um espaço de “perguntar/fazer” e um espaço de “observação”. Uma
14
Grotjahn, R. On the methodological basis of introspective methods. In C. Faerch and G. Kasper (eds.),
Introspection in Second Language Research. Clevedon Avon, England: Multilingual Matters, 1987.
15
Minha tradução.
16
van Lier, L. Ethnography: Bandaid, bandwagon, or contraband. In C. Brumfit and R. Mitchell (eds.),
Research in the Language Classroom. London: Modern English Publications, 1990.
23
pesquisa pode transitar entre estes quatro espaços, dependendo da direção que o
pesquisador toma no decorrer do seu trabalho.
BROWN17 (1988) é o terceiro autor, citado por NUNAN, que apresenta um
sistema de análise de tipos de pesquisa que se divide em primário e secundário. A
pesquisa do tipo primário deriva de fontes de informação primárias (por exemplo,
resultados de testes de alunos que serão analisados) e a pesquisa secundária
consiste em uma revisão da literatura sobre determinada área, com a síntese da
pesquisa realizada por outros pesquisadores. A pesquisa primária subdivide-se em
estudo de caso e estatística, que por sua vez, subdivide-se em levantamento, que
investiga
atitudes, opiniões
ou
características
(freqüentemente
através
de
questionários) e estudos experimentais, que controla as condições sob as quais são
realizadas as observações.
NUNAN afirma que apesar da distinção entre pesquisa qualitativa e
quantitativa ser simplista e ingênua, como dizem os autores citados, essa distinção
ainda persiste. Isto se dá, em parte porque esses dois enfoques representam
maneiras diferentes de análise e representação do mundo e o debate sobre a
natureza do conhecimento que baseia o desenvolvimento de diferentes tradições e
métodos de pesquisa é filosófico.
Considerados os diferentes pontos de vista sobre os métodos de pesquisa e
contexto do corrente trabalho apresentado anteriormente, a escolha pela
metodologia qualitativa se deu, principalmente por três motivos. Primeiro, porque a
intenção desta pesquisa era fazer uma análise qualitativa de dados, com vistas a
identificar as características presentes nos mesmos, usando como referencial a
análise de itens de testes feita por ALDERSON (2002) e apresentada na seção 2.7.
Por isso, não havia interesse em fazer uma coleta de dados abrangente, nem fazer
uma análise quantitativa, que fosse generalizável. Segundo, porque há elementos
subjetivos na pesquisa, como o levantamento da orientação dos professores relativa
a testes, uma vez que, por mais objetivas que sejam as perguntas de um
questionário como o proposto, as respostas obtidas serão sempre subjetivas. E
terceiro, porque a análise tanto dos testes quanto das entrevistas será interpretativa,
17
Brown, J. D. Understanding Research in Second Language Learning: A Teacher’s Guide to Statistics and
Research Design. New York: Cambridge University Press, 1988.
24
portanto, sob alguns aspectos subjetiva e não generalizável, embora plenamente
justificável.
3.2 - LEVANTAMENTO DOS DADOS
Com base nos objetivos propostos para esta pesquisa, anteriormente
descritos18, os dados que levantados para análise foram os itens constantes nos
testes de leitura em inglês do curso de língua inglesa como língua estrangeira do
CELIN, relativos aos níveis: Básico II (anexo 1), Básico IV (anexo 2) e PréIntermediário IV (anexo 4), do primeiro semestre de 2005, e Pré-Intermediário II
(anexo 3), do segundo semestre de 2004. Esta diferença de semestres é devida a
uma questão ética. A prova de leitura do nível Pré-Intermediário II do primeiro
semestre de 2005 foi elaborada por mim, tendo que ser necessariamente
descartada, para não colocar em risco a idoneidade da pesquisa. E foram escolhidos
estes quatro níveis, porque há entre cada um deles a diferença de um ano, sendo,
portanto, períodos equivalentes no que se refere a tempo de curso.
Para o levantamento da orientação dos professores de inglês do CELIN, foi
aplicado um questionário junto às sete professoras responsáveis pela elaboração
dos quatro testes em questão. (anexo 5) Este questionário levantou informações à
respeito do conhecimento que estas professora têm do trabalho com a leitura e com
testes de leitura, da relação entre essas dois processos, da existência ou não de
alguma dificuldade em algum ou ambos os processos e em caso afirmativo tentar
perceber, se possível, onde se encontra tal dificuldade. Optei pelo questionário,
como forma de coleta desses dados, na tentativa de minimizar os efeitos do
desconforto causado por questões envolvendo certa exposição de valores e saberes
das professoras.
Finalmente, é importante salientar, que como professora do CELIN e colega
de todas as professoras, sujeitos dessa pesquisa, entendo não ser possível obter o
distanciamento desejável na interpretação do questionário proposto, uma vez que,
inserida no mesmo contexto de estudo e trabalho que elas, certa influência na
análise torna-se inevitável, devido ao conhecimento de opiniões e fatos extra18
Ver seção 1.3.
25
pesquisa. Consciente do risco de uma interpretação tendenciosa, eu procurei fazer a
interpretação dos dados de forma cuidadosa, buscando o máximo distanciamento
que o contexto me permitiu.
26
4 – CLASSIFICAÇÃO DOS TESTES
4.1 - CLASSIFICAÇÃO DOS TIPOS DE TESTES DE LEITURA19.
4.1.1 - Básico II - (Anexo 1)
-Primeira atividade: ordenar - Os parágrafos do texto estão fora de ordem e os
alunos devem numerá-los de acordo com a ordem correta do texto.
- Segunda atividade: respostas curtas – São propostas três questões, do tipo “Whquestion”, que os alunos devem responder de forma breve, porém usando sentenças
e não apenas frases incompletas ou palavras-chave.
4.1.2 - Básico IV - (Anexo 2)
- Primeira atividade: preencher lacunas – Os alunos têm que preencher as lacunas
do texto com as palavras que estão no retângulo, sendo que duas destas palavras
não serão utilizadas.
- Segunda atividade: verdadeiro ou falso – Os alunos devem decidir se as quatro
afirmativas propostas são verdadeiras ou falsas, de acordo com o texto.
4.1.3 - Pré-intermediário II - (Anexo 3)
- Atividade única: transferir informação – Os alunos devem ler o texto e completar
as frases dadas com as informações encontradas no texto.
4.1.4 - Intermediário II - (Anexo 4)
- Primeira atividade: respostas curtas – Os alunos devem responder brevemente
cinco questões do tipo “Wh-question”. Como na primeira delas, eles também devem
justificar sua resposta, esta questão pode ser classificada como uma questão aberta.
- Segunda atividade: múltipla escolha – Nesta atividade os alunos devem marcas
as afirmativas, cujas informações podem ser encontradas no texto.
19
Esta classificação refere-se aos testes de leitura utilizados no curso de inglês como língua estrangeira no
CELIN, com base na classificação apresentada na seção 2.
27
5 – ANÁLISE DOS TESTES
5.1 - CONSIDERAÇÕES E ANÁLISE DE ITENS
Nesta seção serão feitas as considerações a respeito de prós e contras dos
tipos de itens constantes nos testes selecionados do CELIN, seguidas de uma
análise desses mesmos itens, com base no referencial teórico levantado.
5.1.1 - Ordenar
De acordo com ALDERSON (2002), este tipo de teste é, a princípio, atrativo
para quem prepara, porque possibilita testar a habilidade de reconhecer a coesão
existente no texto, organização textual ou complexidade gramatical. No entanto, ele
aponta dois problemas: primeiro, a freqüente possibilidade de haver outras ordens
aceitáveis para um texto, além da ordem original do autor e que não tenha sido
prevista pelo examinador. Concordo com o fato de que isso é um problema, mas
como o próprio ALDERSON aponta, a solução pode ser a edição do texto para que
apenas uma ordem seja possível. Segundo, as respostas parcialmente corretas
seriam um problema na hora da pontuação, já que uma resposta incorreta pode
afetar todas as outras. Por exemplo, a ordem de uma seqüência deveria ser 3-5-4-78-2-1-6, e o aluno marca 3-5-6-4-7-8-2-1. Neste caso há apenas duas respostas
corretas e embora a seqüência de cinco outras também esteja correta, elas foram
todas afetadas por uma resposta errada. Neste caso o que se deve considerar? Esta
é de fato uma situação complicada. O que normalmente se faz é considerar o
exercício como um todo e apenas duas possibilidades para as respostas: todas
certas ou todas erradas.
No primeiro exercício do Básico II há somente uma ordem possível para os
parágrafos, eliminando o primeiro problema levantado por ALDERSON. No entanto o
segundo e mais crítico problema permanece. Qualquer engano cometido pode
comprometer o exercício como um todo.
28
5.1.2 - Respostas curtas
Este tipo de atividade funciona como alternativa para a múltipla escolha,
porque permite que as respostas do aluno sejam analisadas, para ver se ele
realmente entendeu o texto. No entanto, esta não é uma atividade fácil de se
preparar, visto que a objetividade da nota vai depender da relação entre a resposta
dada e a esperada. O ideal é que as possíveis respostas sejam todas previstas,
caso contrário a correção pode ser comprometida. Para que as respostas possam
ser antecipadas, é necessário que seja feito um pré-teste. Um outro problema que
este tipo de atividade apresenta é que nem sempre as questões propostas exigem a
compreensão do texto, mas apenas a capacidade de encontrar a informação no
texto e transpô-la para a resposta com pequenas alterações, como pronome, tempo
verbal, etc. E neste caso, outras habilidades, que não compreensão, estão sendo
testadas.
O exercício 2 da prova do Básico II (anexo 1) apresenta dois problemas que
dificultam a pontuação. O primeiro é que duas perguntas deixam margem para mais
de uma resposta possível, sem correspondência entre si, isto é, não apresentam as
mesmas informações. E neste caso, qual delas deve ser considerada a mais correta
e que valor é possível ou necessário deduzir do total de pontos das outras
respostas? Na pergunta (a)20, “When did her life have a big change?”, podemos
obter como respostas21: ‘In 1961’, que é, provavelmente, a esperada, uma vez que o
ano é mencionado; ‘When she and Keith won £152,319 on the football pools.’, que
também é uma resposta possível, embora não dê a mesma informação da primeira,
e ainda, mesmo que não tão óbvia, é possível uma resposta como ‘When she was
married to Keith.’. Na pergunta (b)22 “What happened to her last husband?”, ambas
as respostas23 ‘He killed himself.’ e ‘He died.’ podem ser obtidas e estariam corretas,
mesmo que o significado delas não seja exatamente o mesmo. A única pergunta que
não dá margem a respostas diferentes é a (c), cuja informação requerida está bem
explícita no texto e é mencionada uma única vez. Mas é importante ressaltar que
20
(a) “Quando a vida dela sofreu uma grande mudança?”
‘Em 1961.’ / ‘Quando ela e Keith ganharam £152,319 na loteria esportiva.’ / ‘Quando ela era casada com
Keith.’
22
(b) “O que aconteceu com o último marido dela?”
23
‘Ele se matou.’ / ‘Ele morreu.’
21
29
não é a diversidade de respostas que se caracteriza como um problema, mas a
inflexibilidade de aceitação de mais de uma resposta como sendo a correta e a falta
de antecipação da diversidade existente. O segundo problema, diz respeito ao que
considerar como “complete answer” (resposta completa). Para a pergunta (a),
devemos considerar que há diferença entre dizer ‘A vida dela sofreu uma grande
mudança em 1961’ e apenas ‘Em 1961’? Por que considerar as respostas
diferentes, se a informação requerida está completa em ambas? E se são a mesma
coisa, é justo que as duas respostas recebam a mesma pontuação, uma vez que a
interpretação do que seja uma resposta completa pode ser diferente para cada
aluno? Estas são questões que precisariam ser respondidas antes da aplicação do
teste. São dificuldades como estas que justificam a necessidade de um pré-teste.
Embora seja muito difícil prever todas as respostas e dificuldades de realização de
todos os itens de um teste, quando os próprios professores “testam” o teste, isto é,
colocam-se na posição de alunos, fazendo o teste, as diferentes respostas e
dificuldades ficam mais evidentes e, com isso, é possível antecipar e solucionar boa
parte dos prováveis problemas tanto de realização, quanto de correção.
Na prova do nível Intermediário II (anexo 4), o exercício 1 também é
considerado uma atividade de respostas curtas, com exceção da pergunta feita na
letra (a), em que se pede para justificar a resposta.
Nas letras (b) e (e), as respostas requeridas podem ser consideradas quase
uma transferência de informação, na verdade, porque os alunos têm que ser
capazes apenas de encontrar a informação no texto e copiar, alterando o pronome
possessivo de 1ª para 3ª pessoa do plural.
Na questão (c) o aluno pode dar uma resposta mais ou menos completa,
24
como : “She found it lying on the top of the rubbish bin, outside the house.”, ou “In
the bin.”, e as variações possíveis entre elas. E então é preciso que o professor
tenha bem definido o que ele vai considerar como certo, se a resposta mais ou a
menos elaborada e no último caso, o que fazer com as informações extra, que
porventura os alunos incluírem. No entanto, se o professor optar por considerar a
resposta mais elaborada como sendo a correta, surge o problema de que esta
informação não está explícita na instrução do exercício, que permite que se aceite a
24
“Ela achou-o estendido no topo de uma lata de lixo, fora de casa.” ou “No lixo.”
30
resposta “In the bin” como correta, uma vez que ela está de acordo com o texto e,
portanto, segue as instruções dadas.
A pergunta formulada na letra (a) é única questão do tipo Open-ended dos
testes analisados. E apesar de apresentar o problema de pontuação, comum às
questões deste tipo e às de respostas curtas, ela está formulada adequadamente,
exigindo que o aluno de fato entenda o que está posto no texto para respondê-la.
5.1.3 - Preencher lacunas
Neste tipo de teste o professor pode ter um grande controle sobre o quê vai
ser testado, se a compreensão geral, ou algum tipo de regência, por exemplo. Um
possível problema é que por saber quais palavras foram retiradas do texto, nem
sempre o professor considera a possibilidade de uma outra palavra poder substituir a
original, mantendo o significado inalterado. Uma maneira de evitar que isso aconteça
é dar três ou quatro opções para cada lacuna a ser preenchida, ou apresentar as
palavras retiradas fora da ordem em que aparecem no texto, podendo acrescentar
uma ou duas palavras, que não serão usadas. O cuidado que se deve tomar, neste
caso, é que cada lacuna só possa ser preenchida com apenas uma das palavras
dadas.
Analisando a primeira questão da prova do nível Básico IV (anexo 2)
percebemos que a atividade testa o conhecimento do léxico e também a regência
verbal, quando o aluno tem que fazer a escolha entre os verbos “visit” e “come” e
saber que este último deverá ser regido pela preposição “to” que não está presente
e por isso não deve ser usado. Além disso, testa a regência nominal, na escolha
entre os adjetivos “traditional”, “tropical” e “beautiful”. E neste último caso surge um
problema. Em (6), tanto “beautiful” como “traditional” são possíveis e, num caso
extremo, se abstrairmos o reconhecimento da localização como pertencente ao
hemisfério norte, podemos também considerar “tropical” como resposta. Uma contraargumentação pertinente a este problema seria dizer que o termo “tropical” não é
uma alternativa lógica para (1), cuja resposta é “traditional”. No entanto, mesmo que
não tão provável como primeira opção, “beautiful” poderia ser uma segunda opção
31
para (1) para aquele aluno que considerasse “traditional” como a resposta correta de
(6).
5.1.4 - Verdadeiro ou Falso
Questões de aparente fácil elaboração, as questões de verdadeiro ou falso
apresentam o problema de proporcionar ao aluno 50% de chance de adivinhar a
resposta certa. Para diminuir este risco é necessário incluir mais opções, como, por
exemplo, ‘não consta no texto’. No entanto, é preciso considerar que neste caso,
estas opções podem gerar confusão, se a intenção é testar a capacidade de
inferência.
Na segunda atividade do teste do Básico IV (anexo 2) três das quatro
sentenças podem ser consideradas bem elaboradas, no sentido de que as
afirmativas não são óbvias, não podem ser respondidas sem ler o texto e não há
nada implícito que possa gerar duplicidade de resposta. Entretanto, este último
problema está presente na terceira sentença. A informação não pode ser inferida
através do texto, podendo tanto ser verdadeira como falsa, dependendo da
interpretação do aluno e, além disso, não existe uma terceira opção como ‘não se
pode inferir’. O termo “only” gera esta dúvida, na medida em que as reticências
postas no texto insinuam que mais coisas são vendidas, mas não deixam claro o que
mais é vendido no mercado, e nem tão pouco fica claro o que pode ser considerado
“special goods”. Se considerarmos a terceira sentença como sendo verdadeira, o
problema da questão aumenta, pois neste caso, considerando todas as
possibilidades de resposta (exceto respostas em branco) o aluno tem 4
possibilidades com 25% de chance de acerto, 2 possibilidades com 50%, 2 com 75%
e 1 com 100%. Ao contrário do que se pode imaginar, pela análise feita, a idéia não
é fazer com que o aluno erre, o problema reside no fato de que o aluno não precisa
de fato entender, nem mesmo ler o que está escrito para acertar no mínimo 25%.
32
5.1.5 - Transferir informação
Atividades de transferência de informação são freqüentemente associadas a
gráficos, diagramas e tabelas. Um dos problemas que elas apresentam é a possível
influência cultural ou cognitiva, uma vez que nem todos os alunos estarão,
necessariamente, familiarizados com este tipo de informação25, ou conseguirão fazer
a conexão entre a informação dada e a pedida. Neste caso, isso vai adicionar uma
dificuldade desnecessária à atividade, fazendo com que os alunos percam muito
mais tempo que o desejado tentando entender a natureza da atividade em si, sem
focar na informação que deve ser obtida e que é o objetivo principal deste tipo de
atividade. Outro problema possível é quando se usam textos que estão associados a
elementos gráficos em situação de complementaridade. Ao se retirar uma
informação, que deve ser posteriormente reposta pelo aluno, é preciso garantir que
a informação esteja disponível de alguma outra maneira e que a falta da mesma não
torne impossível o cumprimento da tarefa dada.
A atividade proposta na prova do nível Pré-intermediário II (anexo 3) pede
que o aluno complete as sentenças iniciadas com informações retiradas do texto.
Essa atividade aparentemente não apresenta os problemas acima mencionados. No
entanto, a instrução não deixa claro o tipo e a extensão da informação com a qual o
aluno deve completar as sentenças começadas. As informações que completam as
frases 3 e 4 podem ser copiadas diretamente do texto, com a opção de inclusão ou
exclusão de algum detalhe. Isto não precisa ser considerado um problema, desde
que o professor tenha previsto a possibilidade de cópia e esteja de acordo. As frases
que completam 1 e 2 podem tanto ser copiadas como elaboradas a partir do texto,
mas a abertura dada pelas frases iniciais dá margem a diferentes respostas. Se o
professor antecipou todas as respostas possíveis, incluindo as cópias do texto e
estabeleceu a pontuação para cada possibilidade, também não há problema na
correção, embora constitua uma dificuldade para o aluno decidir quais informações
deve escolher. Já a sentença 5 deve ser completada por inferência, ao contrário do
25
Isso é válido, não apenas para testes gerais, como o vestibular, mas para escolas como o CELIN, que não
costumam seguir, ainda, um mesmo programa em relação aos tipos de textos trabalhados num mesmo nível.
Podemos considerar o fato de que os testes passam por todos os professores do nível antes de ser aplicado, mas
isso não elimina a possibilidade da assunção de alguns professores de que o tipo de texto não constitui uma
dificuldade em si e não vai influenciar na compreensão do mesmo. Como exemplo dessa possibilidade remeto o
leitor à fala da professora (P7), na questão 8 na seção 6 adiante (Análise do Questionário).
33
que pede a instrução, porque a informação pedida não é mencionada no texto. E
aqui sim vemos um sério problema de incongruência entre o enunciado e o
exercício, que constitui uma dificuldade para o aluno e invalida a questão no que se
refere ao seu conteúdo.
5.1.6 - Múltipla escolha
Esta atividade é fartamente utilizada em testes de leitura, por possibilitar o
controle do número de respostas dadas pelos alunos e também por ser de fácil e
rápida correção. No entanto, o professor pode apresentar idéias nas quais os alunos
nem pensariam, resultando em possibilidades enganosas, que induzam ao erro.
Além disso, mesmo sem intenção deliberada, algumas alternativas apresentadas
podem ser maliciosas e levar a resultados falsos com relação à real compreensão
dos alunos. Uma outra dificuldade desse tipo de atividade é que ela toma muito
tempo na preparação, pois as alternativas de cada questão têm que ser bem
elaboradas, para que não sejam de eliminação óbvia. Ainda resta o fato de o aluno
poder acertar a resposta pelo motivo errado, isto é, a linha de raciocínio seguida
pelo aluno pode não ser aquela esperada pelo professor e neste caso, a questão
não estará de fato medindo a compreensão desejada. Uma variante possível para
tentar minimizar estas dificuldades é propor um mesmo grupo de alternativas de
respostas, para diferentes questões, sem possibilidade de repetição. Neste caso, o
aluno é obrigado a entender as diferentes partes do texto para responder as
questões.
A atividade proposta para o texto 2 do nível Intermediário II (anexo 4)
apresenta o problema de ter alternativas um tanto quanto óbvias, pois trabalha com
a localização das informações pedidas dentro do texto. A única alternativa que exige
um pouco mais de compreensão por parte do aluno é a (b), que envolve a não tão
evidente opinião de Spurlock sobre o McDonald’s.
34
6 – ANÁLISE DOS QUESTIONÁRIOS
6.1 - ANÁLISE DOS DADOS OBTIDOS NOS QUESTIONÁRIOS.
Nesta seção serão analisados os questionários respondidos pelos
professores responsáveis pela elaboração dos testes analisados nas seções acima.
Para uma melhor visualização e compreensão da discussão sobre as pergunta do
questionário proposto, vou apresentar cada questão, com as respectivas respostas
dadas pelas professoras, seguida da discussão.
1) Você fez alguma matéria direcionada para leitura ou para o ensino de
leitura em LEM, na UFPR ou em outro curso?
Sim ( )
Não ( )
Onde? ___________________________________
Qual? ____________________________________
P1 -
não
P2 -
não
P3 -
não
P4 -
sim - No Inter Americano – Teacher Training Course (o ensino de leitura
é abordado brevemente nesse curso, mas nunca na faculdade).
P5 -
não
P6 -
não
P7 -
não
A questão 1 (Q1) visava saber um pouco sobre a formação das professoras
com relação à leitura, para tentar obter uma resposta ao questionamento sobre a
origem da dificuldade em se trabalhar com a leitura sistematicamente. Apenas uma
professora respondeu que havia feito um curso, mas que não foi na universidade e
ainda assim, a leitura só foi abordada brevemente, isto é, na verdade podemos
entender que nenhuma das professoras fez matéria ou curso direcionado para a
leitura ou para o seu ensino. O que podemos observar, no sistema educacional em
geral é que a leitura tende a ser relegada a segundo plano no processo educacional.
Nas escolas de ensino regular de primeiro e segundo graus no Paraná, atualmente,
eu tenho conhecimento da existência de bem poucos trabalhos no ensino da língua
materna, realizados por alguns professores isolados, voltados para a compreensão
35
de textos como finalidade em si. Geralmente no trabalho feito com leitura são
utilizados os clássicos da literatura brasileira e alguns outros livros de literatura
paradidáticos, como se este fosse o único tipo de texto que precisasse de algum tipo
de mediação do professor para uma adequada compreensão. Isso se reflete no
ensino de inglês como língua estrangeira, na medida em que as instituições de
ensino de inglês, cujos professores tiveram sua formação escolar no referido
contexto, tendem a transferir para o ensino da língua estrangeira a mesma linha
metodológica de ensino de leitura “herdada” do ensino da língua materna. Tendo
minha própria formação acontecido nesse contexto posso citar como exemplo o fato
de que na grade curricular do Curso de Letras da Universidade Federal do Paraná
não há nenhuma matéria obrigatória voltada especialmente para a leitura, ou que
trabalhe o ensino dessa habilidade. Da mesma forma, geralmente nas escolas de
inglês como segunda língua há mais ênfase na oralidade e na audição, um pouco
menos na escrita e quase nada na leitura. Com exceção, é claro, dos cursos de
inglês com propósitos específicos (ESP-English for Specific Purposes). Sendo
assim, de acordo com as respostas dadas a esta questão, pode-se deduzir que as
professoras sentem dificuldade em trabalhar com a leitura em inglês porque não
possuem uma base teórica mínima que norteie seu trabalho.
2) Em sua opinião, o que pode dificultar o trabalho com leitura em sala?
P1 -
Falta de dinamismo, os alunos não se interessam por leitura em sala porque,
muitas vezes, ela é pouco dinâmica.
P2 -
A falta de tempo, pois temos que trabalhar tanta matéria importante além do
texto e de repente gastamos mais tempo com as outras coisas.
P3 -
A falta de hábito de leitura, mesmo em língua materna.
P4 -
A expectativa que os alunos podem ter de já saírem aprendendo a ler nas
primeiras aulas e a insistência em traduzir e entender todas as palavras.
P5 -
Em primeiro lugar, turmas heterogenias, porque nesse caso é preciso estar
atento para que os alunos não se sintam desmotivados, seja os que têm mais
ou menos conhecimento.
Falta de vocabulário e falta de hábito de leitura por parte dos alunos são
outras dificuldades.
36
P6 -
A falta de leitura na língua materna e até mesmo o próprio hábito de leitura.
P7 -
A ansiedade dos alunos em conhecer o significado de palavras isoladas antes
de tentar entender o contexto global do texto, a escolha de texto que
apresentem temas muito (?), vocabulário ou estruturas muito estranhas aos
alunos.
Partindo do pressuposto que as professoras sentem alguma dificuldade em
trabalhar com a leitura em sala de aula, busquei checar se essa impressão procede,
porque o trabalho que o professor faz com a leitura em sala reflete-se no teste que
ele elabora. Na opinião das professoras, fatores como ansiedade, falta de hábito de
leitura e falta de motivação dos alunos pode dificultar o trabalho com leitura. No
entanto, podemos ver implícito o conceito de leitura como uma atividade chata, que
parece fazer parte da opinião de muitos brasileiros, como na resposta da P1, que diz
que a leitura é “pouco dinâmica”. Se, por um lado, pensarmos no fato de que as
outras habilidades podem ser trabalhadas através de atividades dinâmicas26 como
jogos, música, diálogo, etc, realmente podemos entender a visão da leitura como
pouco dinâmica, uma vez que na maioria das vezes é uma atividade realizada
individualmente e silenciosamente. Por outro lado, percebemos também que este
“pouco dinâmica” pode ser lido como enfadonha, uma vez que os alunos não se
interessam por ela. É de senso comum entre professores e estudantes de Letras
que, geralmente a matéria de que os alunos menos gostam é português. E apesar
de nem todos admitirem, principalmente os adultos, a maioria dos alunos não gosta
de ler. Confirmando essa idéia, a P2 diz que a dificuldade é em função da falta de
tempo, porque há tanta matéria importante para trabalhar além do texto, que a
leitura acaba sendo deixada em segundo plano.
Mas se a idéia é que o texto
também é importante, por quê motivo ele não é trabalhado na mesma medida que as
outras matérias importantes? E de novo temos na resposta de três professoras a
idéia da falta de hábito de leitura, mesmo em língua materna, ou seja, aqui também
está posto o conceito de leitura como atividade entediante e não muito importante,
que se faz apenas por obrigação, seja em língua materna, seja em língua
estrangeira.
26
Estou entendendo o termo “dinâmico” como algo que envolve grande atividade, agilidade, criatividade e/ou
movimento.
37
3) Você costuma trabalhar sistematicamente com leitura, com seus alunos
do curso regular27 de inglês no CELIN?
Sim ( )
Não ( )
Como?
P1 -
Sim – Pedindo para que dêem uma rápida olhada no texto a fim de saberem
sobre o que se trata e após verificando informações mais específicas.
P2 -
Sim
P3 -
Sim – Utilizando o livro e também textos autênticos da Internet sobre o
assunto das aulas.
P4 -
Não
P5 -
Sim – Geralmente levo textos que se relacionam com o tema da unidade
estudada.
Os exercícios que costumo aplicar são:
- colocar o texto na ordem certa
- preencher lacunas com palavras que foram retiradas do texto
- perguntas e discussões
P6 -
Sim – aproveitando os textos no próprio livro didático.
P7 -
Sim – Gosto de associar leitura e produção oral. Peço que os alunos leiam
textos diferentes e troquem informações, respondam questões p/
aumentar o vocabulário, dêem a opinião sobre algum tema.
Incluí esta questão na tentativa de saber qual o sistema de trabalho com
leitura das professoras e qual a idéia que elas fazem sobre este trabalho. Apenas
uma admitiu não trabalhar sistematicamente com leitura. De acordo com as
respostas, mesmo que intuitivamente, algumas professoras parecem explorar a
leitura de forma pertinente, como a P5, que leva texto extra e propõe atividades
diversificadas e a P7, que aproveita o texto como base para trabalhar outras
habilidades. No entanto, pode-se observar que não há um programa básico
estabelecido para o ensino da habilidade de leitura em inglês. Cada professora usa
os conhecimentos que tem e faz aquilo que considera o melhor para os seus alunos.
27
Na elaboração do questionário, chamei de “curso regular” do CELIN o curso de inglês como língua
estrangeira, que abrange as quatro habilidades, de escrita, audição, oral e de leitura, uma vez que neste instituto
de línguas também são ofertados outros cursos de inglês, como Inglês para Compreensão de Textos Acadêmicos,
Tópicos para Conversação, Inglês Comercial, entre outros.
38
O problema, nesse caso, é que as turmas podem ter conteúdos diferentes e
experiências diferentes de leitura, que podem ter como resultado, turmas com
habilidade de leitura muito diferentes num mesmo nível do curso. Para entender
melhor é interessante contextualizar o problema. Para isso, vamos tomar como
exemplo o nível Básico II. No primeiro bimestre são trabalhados três temas gerais,
que são: viagem, vida urbana e alimentos. Cada um destes temas é subdividido em
sub-temas. O tema viagem, por exemplo, tem como sub-temas férias, roupas,
diferentes lugares e atividades e clima. Dois destes sub-temas trabalham com
leitura, o primeiro e o último, mas nada impede que os professores, por qualquer
motivo que seja, deixem de trabalhar as leituras do livro didático e trabalhem com
outras relativas aos outros dois sub-temas, ou com apenas um. Da mesma forma
que um professor pode optar por não trabalhar com leitura em algum dos três temas.
Essas diferenças de temas e quantidade de leitura, somadas às diferenças de
metodologia no trabalho realizado com os textos por cada professor e aos tipos
diferentes de texto que podem ser utilizados, vão estar refletidas no nivelamento
díspar da habilidade de leitura das turmas, uma vez que seria impossível abranger
num único teste os diferentes enfoques possivelmente dados à leitura.
4) Como o trabalho com a leitura em sala pode influenciar no desempenho
do aluno na prova de leitura?
P1 -
Ajudando-os a buscar o que há de mais relevante no texto, preparando-os
para desafios e ensinando-os a “Aprender a aprender”.
P2 -
O aluno se acostuma com a leitura de textos em línguas estrangeiras e
adquire mais segurança na hora da prova.
P3 -
Durante as aulas o prof. dá dicas de leitura, aponta para estratégias, o que
ajuda na hora de compreender um texto.
P4 -
Principalmente com relação ao tempo, pois o aluno pode ir direto às questões
relevantes, sem perder tempo traduzindo o texto todo.
P5 -
Penso que quanto mais o aluno está em contato com a língua escrita, mais
ele acumula habilidade em ler, conseguindo identificar tipos diferentes de
texto, sendo capaz de prever e relacionar dados do texto. Além disso, a
prática de leitura freqüente aumenta o vocabulário dos alunos.
39
P6 -
Em sala o professor trabalha com diferences estratégias de leitura.
P7 -
Acho que na prova o aluno tem que reler o texto quantas vezes for necessário
e levantar hipóteses coerentes para as questões para as quais não tem
resposta exata. Podemos trabalhar com releitura pedindo que o aluno aponte
o que no texto o leva a determinada conclusão e pedir que levante hipóteses.
Por experiência no trabalho com leitura em sala de aula, não só no curso de
inglês como língua estrangeira, mas também no curso de compreensão de textos em
inglês no CELIN, parto do princípio de que o trabalho com leitura na sala de aula
influencia o desempenho do aluno na prova de leitura de inglês, tanto positiva
quanto negativamente. Exemplos de fatores que influenciam positivamente são: o
aluno estar acostumado a trabalhar com leitura em sala, estar familiarizado com os
tipos de itens elaborados para o teste, estar familiarizado com o tema abordado no
texto e conseqüentemente com o léxico empregado, e muitos outros. E o oposto
desses exemplos, logicamente, podem ser considerados fatores de influência
negativa. Minha intenção ao fazer esta pergunta era saber se as professoras
estavam conscientes dessa influência. E parece que estão, mesmo que nem todas
percebam de que espécie ela é. De certa forma, este era o resultado esperado, uma
vez que sem um conhecimento específico maior sobre as duas áreas, leitura e testes
de leitura em língua estrangeira, pode ser difícil estabelecer a relação de influência
de uma sobre a outra.
5) Você fez alguma matéria na universidade ou em outro curso que tenha
abordado as diferentes maneiras de acessar o conhecimento do aluno,
ou como selecionar e preparar testes de língua estrangeira?
Sim ( ) Não ( )
Onde?_____________________________________
Qual? _____________________________________
P1 -
Sim – UFPR – Língua Inglesa Oral IV e algumas pedagógicas podem ter
ajudado um pouco nisso.
P2 -
Não
P3 -
Não
40
P4 -
Não
P5 -
Sim – Na universidade e no CELIN – Metodologia de LEM e reuniões e
palestras do CELIN
P6 -
Não
P7 -
Não
A intenção desta questão era averiguar se as professoras possuíam alguma
formação relativa a testes. O resultado mostra que muito pouco se fala sobre testes,
embora se fale um pouco mais que sobre leitura. Minha experiência como ex-aluna
da licenciatura, mostra que as ementas das matérias citadas nas respostas não são
tão fixas assim. Quando fiz Língua Inglesa Oral IV, realmente foi abordada a questão
de testes, embora não aprofundada, porque este não é o objetivo da matéria. Mas
em Metodologia de LEM as avaliações não foram sequer mencionadas. Talvez na
tentativa de compensar um pouco essa falta, a coordenação pedagógica do CELIN
sempre aborda a questão dos testes em reuniões pedagógicas.
6) Qual a importância de se testar a habilidade de leitura em um curso
regular de língua estrangeira?
P1 -
Preparar alunos para testes de vestibular, mestrado e de proficiência, bem
como ajudá-los a buscar informações necessárias em relação a interesses
pessoais de forma mais autônoma.
P2 -
Na vida prática o aluno deve ser capaz de interpretar os vários tipos de textos
presentes em jornais, revistas, livros etc e se isto não for praticado ou
avaliado eles não terão acesso a esta habilidade.
P3 -
A maioria dos alunos brasileiros vai precisar da leitura em língua estrangeira,
para o trabalho, pesquisas, etc.
P4 -
Para saber se o aluno é capaz de compreender o inglês na forma escrita e
selecionar o que é mais relevante (uma idéia geral)
P5 -
(não respondeu)
P6 -
A maioria dos alunos precisa no futuro da leitura de textos em Inglês.
P7 -
Enquanto as demais habilidades (produção oral e escrita, compreensão oral)
dependem muito do trabalho em sala, a leitura pode se desenvolver muito
41
fora de sala de aula. Testar a habilidade dos alunos estimula os mesmos a
procurarem se desenvolver e mostra ao professor as dificuldades dos alunos.
Com esta questão, eu pretendia perceber as opiniões pessoais que
fundamentam o trabalho de cada professora, já que essas crenças exercem grande
influência no trabalho realizado. De acordo com as respostas da Q2, podemos dizer
que as professoras trabalham sistematicamente com leitura, embora esta seja uma
tarefa monótona e difícil, conforme as respostas da Q3. Mas, se é difícil e chato, por
que trabalhar com leitura? A resposta dessa pergunta fica evidente nas respostas da
Q6: por obrigação; porque é um mal necessário. Por um lado, existe a percepção de
que a leitura em inglês está sendo cada vez mais necessária em todos os meios
profissionais e educacionais. A maioria das professoras entende que cada vez mais
áreas de atuação, seja no campo educacional ou profissional, exigem um certo
domínio da leitura em inglês, resultando a necessidade de avaliação dessa
habilidade, como forma de mensurar esse conhecimento adquirido. Por outro lado,
há um outro motivo que, embora não tão evidente, sustenta essa obrigação de forma
muito mais intensa. No CELIN os professores não podem escolher as habilidades
que vão trabalhar e, conseqüentemente, testar. Por uma questão de unificação do
trabalho, todas as turmas de um mesmo nível devem aplicar os mesmos testes, ou
não seria possível estabelecer os parâmetros de nivelamento da instituição. Além
disso, nas reuniões de orientação pedagógica de inglês, a assessora, Jeanne Marie
Fédder Paraná e a antiga e a atual coordenadora, Mariza Riva de Almeida e Clarissa
Menezes Jordão, respectivamente, sempre deixam evidente que é fundamental
trabalhar com as quatro habilidades (oral, audição, escrita e leitura) no ensino de
língua estrangeira. Essa é a orientação de ensino seguida pela escola, portanto, os
professores devem trabalhar e testar os alunos nas quatro habilidades.
7) Quando você preparou seu primeiro teste, você se sentia preparada(o)
para isso? Se não, o que faltou?
P1 -
Não. Faltou orientação de uma pessoa com mais experiência e uma noção
maior sobre os prováveis problemas que o teste poderia ter.
P2 -
... Não é difícil preparar os exercícios, pois sabemos o que está sendo
42
trabalhado em sala e o que eles estão acostumados a fazer. O mais
complicado é escolher um texto que seja bom para o nível e que tenha a
ver com o assunto trabalhado.
P3 -
Não, experiência e certa orientação.
P4 -
Não. Faltou saber o que era mais importante para ser cobrado na prova.
Também não me sentia preparada para elaborar diferentes tipos de
exercício que acessassem diferentes habilidades. A correção também
não ficava muito clara (os critérios, como deveria ser).
P5 -
Não. Senti dificuldade em escolher um texto em um nível de dificuldade
adequado para a turma. Além disso, fiquei indecisa na distribuição da
nota: o devia ser mais ou menos levado em consideração, o que exigia
mais ou menos conhecimento do aluno.
P6 -
Sim, mas descobri a falta de preparo quando houve uma discussão em grupo
sobre os exercícios preparados p/ a 1ª prova.
P7 -
Sim.
Como vimos na Q6, há o sentido de necessidade e de obrigação no trabalho
realizado com a leitura. A intenção desta questão era verificar o conhecimento
relacionado a testes de que as professoras dispunham na elaboração do primeiro
teste sob sua responsabilidade. Embora eu estivesse considerando a elaboração de
testes em geral, e não especificamente os de leitura, algumas professoras
assumiram que eu me referia à leitura, devido ao conhecimento que tinham de que
este trabalho é voltado para esta área. Este fato, no entanto, não exerce influência
sobre a análise das respostas, uma vez que a primeira prova que algumas delas
prepararam pode ter sido a de leitura mesmo, como explicado a seguir.
Para uma maior compreensão da relevância desta questão, é preciso
entender que no CELIN os professores de cada nível são todos responsáveis pela
elaboração dos testes que serão aplicados em suas turmas. Isto é, os professores
das turmas de nível 1 são responsáveis pela elaboração dos testes que serão
aplicados neste nível, e isso se repete em todos os níveis de inglês. Dentro dos
níveis, por sua vez, os professores fazem uma divisão de tarefas, de forma que um
ou mais professores ficam responsáveis pela elaboração do teste de uma das quatro
43
habilidades a serem testadas ou do teste referente ao “uso da linguagem”, que
juntos constituem as cinco partes dos testes realizados bimestralmente.
Como eu supunha, com exceção da P7, todas as outras afirmaram que não
se sentiam preparadas para tal tarefa. Mesmo a P6 que respondeu que sim, admite
ter percebido sua falta de preparo. A P2, embora não diga nem sim nem não, acaba
evidenciando um equívoco bastante comum de se desvincular o tipo de texto do tipo
de questão, sem considerar que há uma relação estreita entre os dois, que se
estabelece a partir do propósito do teste e do resultado esperado.
A minha suposição de que as professoras não se sentiam preparadas para
elaborar testes vem do fato de que eu mesma passei por essa experiência quando,
ainda aluna da licenciatura na UFPR, comecei a lecionar no CELIN. Enquanto duas
professoras responderam a Q5 afirmativamente (podemos perceber que, na
verdade, a P1 diz que as matérias “podem ter ajudado”), nenhuma das duas
respondeu afirmativamente à Q7, evidenciando que o conhecimento adquirido nas
matérias citadas não foi suficiente para que as professoras se sentissem seguras na
hora de colocá-lo em prática.
8) Qual sua opinião sobre a preparação uma prova de leitura, em si? Isto é,
você gosta do trabalho de escolha do texto e elaboração das questões?
Por quê?
P1 -
Gosto, mas acho bastante complicada a elaboração de exercícios, uma vez
que as respostas não podem estar óbvias demais. É preciso muita
criatividade.
P2 -
Sim, é gostoso preparar todos os exercícios da prova e todos representam
seu trabalho próprio
P3 -
Não, tenho dificuldades em selecionar o texto e adequá-lo ao nível em
questão.
P4 -
Quando é uma prova só de leitura penso que fica mais fácil, pois é melhor
para se concentrar e focar em uma só habilidade.
P5 -
Apesar de ser um desafio, eu gosto desse trabalho porque ele me treina a
explorar um texto de diversas maneiras.
P6 -
Não, pois é difícil encontrar textos adequados para níveis específicos, além
44
de estratégias adequadas p/ tais níveis
P7 -
Sim, acho interessante procurar descobrir maneiras inteligentes de se testar a
capacidade dos alunos procurando fugir do obvio.
É interessante perceber que, apesar das professoras acharem difícil trabalhar
com leitura em sala, como fica evidente na Q2, a maioria delas afirma gostar de
preparar as provas de leitura. A P7, por exemplo, acha interessante “descobrir
maneiras inteligentes de se testar a capacidade dos alunos”; pensando nisso, eu
levanto o problema de até que ponto isso deve ser feito e em que medida isso vem
sendo feito no CELIN, uma vez que o trabalho sistemático feito em sala não é o
mesmo para cada professora, ou seja, o que cada uma entende por trabalho
sistemático é diferente, como podemos ver na Q3 e o que é uma “maneira inteligente
de testar” uma turma, pode representar um teste difícil demais para uma outra, não
habituada ao mesmo tipo de trabalho.
Ao mesmo tempo, as professoras assumem na Q2 que é difícil trabalhar com
leitura em sala, por diferentes razões. E mesmo percebendo que no trabalho
sistemático que elas realizam há uma certa consistência metodológica, ainda que
intuitiva, parece se perder, em algum ponto, uma importante ligação entre o trabalho
que de fato é realizado e o teste que é elaborado. Por exemplo, a P2 diz na Q2 que
a falta de tempo as leva a trabalhar mais com outras coisas do que com leitura,
ainda assim, ela faz um trabalho sistemático com leitura (Q3) e apesar de achar
difícil escolher o texto (Q7), ela gosta de preparar os exercícios da prova.
9) Como você aprendeu a preparar testes?
P1 -
Analisando o que funcionou ou não nos testes preparados por outras pessoas
e aplicados e corrigidos por mim.
P2 -
Na prática, na preparação das provas no Celin.
P3 -
Preparamos os testes em equipe, aprendi com a experiência repassada pelos
professores mais antigos.
P4 -
Na prática, com o auxílio de outros professores e também vendo o que não
funcionava depois de os alunos terem feito a prova.
P5 -
Aprendi através da necessidade de prepará-los, ou seja, sozinha, porque
45
minha bagagem teórica para isso era muito pouca.
P6 -
Com a prática, leitura teórica e experiência dos colegas de trabalho.
P7 -
Observando os testes anteriores do curso, os exercícios propostos pelos
livros e pela performance dos alunos nos testes em si.
Embora nenhum profissional goste de admitir seus pontos fracos, algumas
vezes isto se torna imperativo, para que através da exposição e análise do
problema, ele possa ser solucionado, senão totalmente, pelo menos em parte. A
função desta questão é justamente expor um problema comum a essas professoras.
Faço um parêntese aqui, para deixar claro que sempre que me refiro a essas
professoras, eu as estou tomando como representantes de toda uma classe de
professores, que tiveram o mesmo tipo de formação e condições semelhantes de
ingresso no mercado de trabalho.
O discurso geral é que todas aprenderam “na prática”, através da experiência
de outros professores, ou na base popular da “tentativa e erro”. Embora pareça um
tanto embaraçoso admitir isso, é preciso uma conscientização da necessidade de
suprir um espaço que está vazio na formação dos professores. A elaboração de
testes, no nosso caso testes de leitura de inglês, é muito pouco estudada e quase
nada transmitida aos professores em formação. As respostas desta questão
demonstram claramente o vácuo existente nessa área, que acaba por ser
preenchido das mais variadas formas, sem a garantia de estar sendo preenchido
adequadamente. Da mesma forma, não se pode garantir que um embasamento
teórico seria o mais adequado, sempre, mas certamente que seria o mais seguro,
dada a relevância dos estudos que vêm sendo feitos na área e a importância e
responsabilidade que envolve a elaboração e aplicação de testes.
10)Que critérios você utilizou para selecionar o(s) texto(s) da prova anexa?
Por exemplo, você selecionou um texto com um tema qualquer, mas
com o mesmo nível de dificuldade dos textos encontrados no livro
didático; um texto do mesmo tamanho e com um tema parecido ao do
livro didático; ou quem sabe um texto com o mesmo tema do livro
didático, que você editou para ficar com o mesmo nível de vocabulário e
dimensão daqueles encontrados no livro didático.
46
P1 -
O texto não foi selecionado por mim. Ele já tinha sido utilizado em outro teste
(anterior) e o grupo de professores do nível decidiu ficar com o mesmo texto.
Razões: extensão e nível de dificuldade relativas ao comumente trabalhado
em sala; tema referente a um dos tópicos trabalhados ao longo do bimestre
P2 -
O livro tinha uma unidade que faltava de pessoas famosas e em 2 unidades o
“past tense” era trabalhado, portanto o texto encaixou bem. Não foi mexido
nele.
P3 -
Um texto com o tema do livro e grau de dificuldade similar.
P4 -
Não fui eu que selecionei (só ajudei a preparar as questões) o texto. Acredito
que ele já fazia parte da prova anterior, mas penso que o critério foi o tema,
principalmente, o nível de dificuldade parecido com o do livro didático e a
possibilidade de trabalhar com tópicos gramaticais já estudados.
P5 -
Foi um texto de outro livro didático do mesmo nível do livro adotado, com o
mesmo tema. Ou seja, o critério de escolha foi o tema.
P6 -
Tema parecido ao livro didático que eu editei p/ ficar c/ o mesmo nível de
vocabulário e dimensão daqueles encontrados no livro didático.
P7 -
Selecionei o texto por tratar de um tema do qual o livro didático também trata
(cinema), mas que fosse autêntico. Foi editado e alguns termos explicados
para que ficasse mais acessível.
As respostas a esta questão geram uma série de questionamentos que não
poderão ser respondidos neste trabalho, mas que valeriam à pena ser pesquisados
futuramente. O problema da extensão do texto é levantado mais de uma vez. Seria
realmente inviável pedir aos alunos que lessem um texto de uma lauda para
responder questões específicas sobre ele, numa prova em que mais de uma
habilidade está sendo testada, num período de duas horas apenas. Mas será que a
extensão deve ser um fator determinante na escolha de um texto? Em que medida o
problema da extensão não pode ser solucionado elaborando itens, cuja resposta não
dependa da compreensão detalhada do texto, por exemplo?
Uma outra questão levantada é a da edição de texto. Uma preocupação e
fonte de dificuldade apontada por algumas professoras, diz respeito ao léxico dos
textos, mencionado nesta questão e na Q2 também. O problema é que muitas
47
vezes, na edição de um texto, muita informação explicita e implícita se perde. Nem
sempre o termo substituto dá conta das nuanças de significado do termo substituído
e que podem ser relevantes para um melhor entendimento da idéia transmitida. Além
disso, todos os estudiosos de leitura concordam que não é necessário o
conhecimento de 100% do léxico de um texto para que ele possa ser compreendido.
Sabemos que é possível elaborar itens difíceis sobre textos fáceis e vice-versa. E se
para responder as questões não for preciso saber o significado dos termos
desconhecidos, qual a utilidade de explicá-los ou substituí-los? Até que ponto a
edição do texto é, de fato, necessária e adequada aos propósitos pretendidos num
teste de leitura de um curso de inglês como língua estrangeira?
E finalmente, vemos que os tópicos gramaticais também são considerados
fator determinante na escolha do texto. O problema que vemos aqui é de construto,
uma vez que o propósito do teste de leitura é testar a compreensão de texto e não
gramática, porque já existe uma parte do teste dedicada especialmente para tópicos
gramaticais e uso da linguagem. Não estou dizendo com isso que não seja possível
ou plausível que se use o teste de leitura para testar o conhecimento gramatical
também. O problema é: isto está sendo feito conscientemente? Que tipo de
resultado este teste visa obter, no que diz respeito à leitura? Em que medida os
tópicos gramaticais podem justificar a escolha de um texto para um teste de leitura?
11)O texto que você escolheu para a prova anexa foi tirado de:
a) outro livro didático do mesmo nível daquele que você estava
trabalhando
b) outro livro didático de nível diferente daquele com o qual você
estava trabalhando – que nível? _____
c) um site da Internet para professores, com textos facilitados e
exercícios preparados – neste caso, você aproveitou os
exercícios? Sim ( ) Não ( )
d) outro – Qual?
Por quê?
P1 -
(d) – Não sei. (foi tirado de uma prova anterior mas não me foi passada a sua
origem).
48
P2 -
(a) – Porque achamos que este texto estava bom para este propósito, então
não procuramos além.
P3 P4 P5 -
(a) – Pela dificuldade de encontrar textos autênticos para utilizar no nível II.
– Não sei.
(a) – Geralmente pesquiso textos em livros do mesmo nível com o qual estou
trabalhando, porque também é provável que os temas sejam parecidos,
encaixando-se às necessidades de um texto de prova: nível adequado e
tema pertinente ao conteúdo trabalhado.
P6 -
(a) – É mais fácil encontrar adequação de tópicos e vocabulário quando tendo
o mesmo nível como referência.
P7 -
(d) – Site da Internet – BBC – Porque o site é aberto a qualquer leitor,
apresenta artigos atuais para falantes de língua inglesa.
Apenas uma das professoras não usou livros didáticos como fonte de texto
para o teste. O principal motivo, de acordo com as professoras que os usaram, é que
os livros didáticos são mais práticos. Neles é possível encontrar textos que falam
dos mesmos assuntos e que utilizam o mesmo nível de vocabulário dos textos
encontrados no livro didático adotado pela escola e de outros utilizados por elas em
sala de aula. Quando analisamos a prova do Básico II, cuja fonte é um livro didático,
no entanto, vemos que apesar do texto ser adequado, o primeiro item elaborado
(colocar os parágrafos em ordem), mostra-se um tanto inadequado para este nível.
Geralmente, este tipo de item trabalha com os elementos coesivos, que
normalmente não foram trabalhados e que não estão bem fixados neste nível, como
o emprego dos pronomes. Com isso, voltamos ao problema da facilidade do texto
versus facilidade do item citado anteriormente. Podemos considerar a praticidade
implícita nas respostas, relacionada a tempo de preparo, também, porque sabemos
que a escolha de um texto pode demandar tanto ou mais tempo quanto o preparo
dos itens. Mas podemos também considerar uma possível dificuldade em elaborar
itens adequados aos níveis a partir de textos mais complexos. Neste caso, podemos
fazer uma idéia da grande importância de maiores estudos sobre testes e leitura e a
falta que fazem na formação de professores.
49
12)Você acha importante que os tipos de exercícios preparados para a
prova sejam semelhantes aos que foram usados em sala?
Sim ( )
P1 -
Não ( )
Por quê?
Sim – Para que o aluno não se sinta confuso e inseguro ao deparar-se com
algo totalmente novo. Assim, testa-se realmente a COMPREENSÃO
DO TEXTO, ou seja, o que realmente importa.
P2 -
Sim / Não – Com certeza não precisam ser iguais e se forem diferentes
(nunca vistos) devem ser bem explicados e não mt complicados,
mas acho que não tem graça nem para os alunos se for
exatamente igual.
P3 -
Sim – Porque os alunos já estarão preparados para o tipo de questão. O que
será um desafio é o texto não o tipo de exercício.
P4 -
Sim – Para testar o que os alunos realmente aprenderam e se prepararam
para fazer.
P5 -
Não – O exercício 1 – Complete com as palavras do quadro não é muito
praticado em sala.
Mas o exercício 2 – Verdadeiro ou falso é uma prática bem comum.
P6 -
Sim – Evita surpresas e dúvidas não referentes ao uso da língua.
P7 -
Sim – Porque resolver um exercício de leitura requer um
certo tipo de lógica que o aluno precisa ter desenvolvido em sala.
A maioria das professoras respondeu que é importante que os itens do teste
sejam semelhantes aos trabalhados em sala. De fato elas estão com a razão. É
consenso entre os estudiosos que os itens não devem ser estranhos para os alunos,
pois a necessidade de compreensão do item pode desviar o aluno do seu objetivo
principal e dificultar a compreensão do texto. Exatamente como diz a P1. O teste não
pode ser uma surpresa. A intenção não é testar a capacidade de improviso, ou de
adaptação, ou mesmo de adivinhação do aluno, mas testar a capacidade de
compreensão do texto lido. Quando a P5 diz que o exercício 1 não é “muito”
praticado em sala, podemos entender que em algum momento, este tipo de
atividade foi trabalhada. Isso já é suficiente, muitas vezes. O que não podemos é
apresentar um tipo de item completamente novo e desconhecido, pois isso seria
50
uma dificuldade a mais a ser vencida. O teste não é o momento certo para
apresentar atividades ou idéias novas, mas para avaliar o conhecimento que o aluno
conseguiu adquirir a partir das informações que lhe foram previamente
apresentadas. Uma atividade totalmente nova requer uma explicação mais
detalhada, de preferência com vários exemplos para garantir que o seu
procedimento seja bem entendido por todos e num teste, não podemos correr o risco
do aluno errar a questão por não entender o que deve ser feito. A experiência, tanto
como professora quanto como aluna, parece ter conscientizado a maioria das
professoras com relação a esse fato.
13)Você poderia explicar por que você escolheu os exercícios da prova
anexa?
P1 -
O exercício da prova anterior tinha sido feito na forma de “relacione as
colunas” (uma parte de cada frase em colunas diferentes). Porém, como
estava muito fácil, decidimos abrir um pouco mais as possibilidades de
respostas, de forma a testar com mais eficiência a compreensão der texto.
P2 -
Os alunos trabalharam com os “wh-words”, portanto é uma boa oportunidade
para testar isto e o fato de colocarem em ordem os parágrafos testa a
habilidade de “linking” etc.
P3 -
Porque trabalhamos a seqüência lógica de um texto, seus conectivos e tb
algumas perguntas para confirmar a compreensão do texto.
P4 -
Procurei fazer perguntas que exigissem da capacidade interpretativa dos
alunos mas que, ao mesmo tempo, fossem perguntas claras, que não
gerassem ambigüidade.
P5 -
Na verdade
Esta prova foi elaborada por mim e por uma colega, ela fez o exercício 1 e eu
achei bem interessante, porque ele realmente indica se o aluno entendeu o
texto ou não.
Já o verdadeiro ou falso, escolhi porque é um exercício comum mas também
eficaz para testar a compreensão do texto.
P6 -
testar vocabulário e compreensão de texto
P7 -
Elaborei o exercício eu mesma para verificar a simples identificação da
51
presença ou ausência de informações no texto.
Confrontando as respostas dadas a esta questão com o levantamento e
discussão sobre os tipos de teste, veremos que a P1 fala em abrir as respostas, para
não ficar tão fácil. Porém, como visto na análise dos itens, todas as questões abertas
das provas analisadas apresentaram algum tipo de problema, em geral para as
próprias professoras, na hora da correção, que precisam considerar várias
possibilidades de respostas e decidir o sistema de pontuação em cada uma delas.
Como a P2 fala em colocar os parágrafos em ordem, podemos deduzir que se trata
da prova de Básico II, única que apresenta este tipo de questão. Porém, as “whwords” não estão sendo testadas e resta saber se, como visto na Q12, todas as
turmas trabalharam com atividades desse tipo e com coesão textual a partir de
referentes, por exemplo. A P5 fala que elaborou a questão de verdadeiro ou falso
por ser eficaz para testar a compreensão de texto. Como vimos anteriormente, no
entanto, este é um tipo de questão aparentemente de fácil elaboração. A que
encontramos na prova do Básico IV, por exemplo, apresenta o problema de
possibilitar muitas chances de acerto, com quatro sentenças, duas verdadeiras e
duas falsas, e o problema de falta de clareza na terceira sentença, que dependendo
da interpretação pode ser tanto verdadeira quanto falsa, como explicado no item 4
da sessão 5.1 na “Análise dos Testes”.
Como podemos observar, a elaboração de item de teste não é uma atividade
tão fácil quanto parece. Várias considerações devem ser feitas, preferencialmente
com embasamento teórico que as sustente, para que problemas como esses
possam ser previamente identificados e evitados.
14)Depois de ter aplicado o teste, dados os resultados obtidos, como você
o classificaria?
a) fácil
b) adequado
c) difícil
Por quê?
P1 -
adequado – Porque não foi tão fácil como o anterior, mas os alunos
conseguiram atingir o objetivo principal.
P2 -
adequado – Vários alunos erraram a ordem dos parágrafos e alguns não
52
deram respostas corretas, porém acho que teve a ver com falta
de atenção também.
P3 -
adequado – O grau de dificuldade foi adequado e bem acessível.
P4 -
adequado – Porque as questões podem ser identificadas no texto facilmente
pelos alunos desse nível. Talvez o que mais complicasse a
resolução dos exercícios fosse os vocabulário.
P5 -
adequado – Porque há um balanço: não é fácil nem difícil demais, então é
adequado para qualquer aluno do nível.
P6 -
adequado – Porque o vocabulário cobrado foi trabalhado em sala de aula,
assim como a profundidade da interpretação. A maioria dos
alunos acertou a maior parte das questões.
P7 -
adequado – Pelo balanço geral dos resultados da turma.
Como vemos, todas as professoras consideraram adequados os testes
aplicados. E quase todas avaliam a adequação apenas em função dos resultados
apresentados e não pelas características do teste em si, que levaram a tais
resultados. Pode-se deduzir pelas respostas que “adequado” é o teste que não é
nem fácil, nem difícil demais, em que a maioria dos alunos pode identificar as
respostas no texto e acertar a maior parte das questões. Esta análise das
professoras é pertinente, mas não suficiente. Por isso, mais uma vez, quero chamar
a atenção para a urgência de mais estudos sobre testes na formação de
professores. Na análise de um teste é preciso observar não só os resultados, mas
que fatores que levaram aos resultados obtidos. Podemos sim considerar uma
possível falta de atenção, da parte do aluno, mas se vários alunos erram os mesmos
itens, já não podemos reputar o fato à falta de atenção. É preciso procurar a causa
dos erros no próprio item. Essa busca, no entanto, envolve conhecimento de
procedimentos, que só o estudo teórico proporciona.
15)Como você sabe se um teste funcionou bem?
P1 -
Quando os principais objetivos do teste foram atingidos por pelo menos
aquela parte da turma que realmente se interessa e se esforça.
P2 -
Já conhecemos os alunos das aulas e eu acho que uma maneira de checar o
53
teste é ver se os alunos que sempre vão bem atingiram o nível desejado e
como foram os mais “fracos”
P3 -
Através das dúvidas que surgem durante o teste e também dos resultados
obtidos pelos alunos.
P4 -
Quando um número razoável de alunos (70 a 80% pelo menos) é bem
sucedido no teste.
P5 -
Quando o resultado da prova é o esperado: as questões fáceis são acertadas
pela maioria e as mais difíceis têm um índice de erro maior.
P6 -
Pelo resultado dos alunos e dúvidas surgidas durante a avaliação.
P7 -
Se ele revela a capacidade que o aluno demonstra ter ao longo do semestre.
Esta questão é uma complementação da anterior. As respostas das
professoras são muito interessantes. Cada uma enfoca algum aspecto que é preciso
considerar quando se avalia um teste. Porém as idéias sobre o bom funcionamento
de um teste passam mais pela intuição do que pela metodologia. Não podemos
avaliar se um teste funciona bem apenas pela análise de uma turma, como cada
uma delas faz, a seu turno. É preciso que se faça uma análise mais abrangente,
relacionando os resultados obtidos em todas as turmas. Na medida em que os
professores seguem um mesmo cronograma e um mesmo programa de aulas, que
os professores preparam os testes em conjunto e que este teste enfoca o conteúdo
trabalhado por todos os professores, parte-se do princípio de que os resultados
destes testes devem ser analisados em todas as turmas daquele nível, como sendo
um todo. Isso não só possibilita a análise do teste para melhoramentos futuros,
como também pode funcionar como base para auto-análise dos professores em
questões didáticas e metodológicas.
O resultado da pesquisa realizada com as professoras remete à
afirmação de FOUCAMBERT28, quanto à importância da formação teórica do
professor e da necessidade de formar profissionais que sejam capazes de fazer as
escolhas certas e de formar leitores, no nosso caso, em língua inglesa. Dando voz
aos profissionais que estão envolvidos com a prática de ensino, podemos perceber
que essa necessidade não é mero discurso de teóricos, mas necessidade premente
28
Op. Citado, p. 6.
54
e real dos profissionais que atuam dentro das salas de aula, que se ressentem com
a falta de uma base teórica que possa otimizar e dar respaldo ao seu trabalho.
Podemos perceber, que a noção que as professoras têm, de maneira geral,
sobre o que é “leitura” e como trabalhar com ela influencia grandemente a
sistematização do trabalho desenvolvido em sala de aula e pode dificultar este
trabalho também. O mesmo autor, acima citado, menciona ainda a confusão que se
faz entre dar informações sobre leitura e possibilitar a apreensão de métodos
pedagógicos de trabalho com leitura, na formação profissional. Além disso, a falta de
um conceito de leitura mais condizente com a abordagem comunicativa de ensino,
adotada pelo CELIN, pode levar a considerações equivocadas sobre a leitura, como
sendo enfadonha e pouco dinâmica. De acordo com CARRELL e COHEN29, a leitura
deveria ser entendida como uma atividade que precisa de interação constante entre
leitor e texto. Mais ainda, a leitura não só pode como deve ser enriquecida com a
interação entre leitores, na medida em que a construção de sentido de cada um vai
contribuir para a construção de sentido dos outros e do grupo como um todo, no
contexto de sala de aula.
O trabalho desenvolvido com leitura em sala influencia, por sua vez, os
resultados obtidos nos testes de leitura. Testes estes, que também são elaborados,
sem base metodológica adequada, de acordo com as respostas do questionário.
Dessa maneira, retomamos a importância da argumentação de MCNAMARA30 em
favor da “compreensão crítica e prática dos princípios e práticas de avaliação de
língua”, em razão do papel de poder que os testes representam na vida das
pessoas. As respostas demonstram que as professoras estão atentas ao
crescimento da necessidade de domínio da habilidade de leitura em língua
estrangeira e também da relevância dos testes no contexto social e profissional de
hoje. E também assumem que a falta de preparo e conhecimento teórico para
desenvolver esse trabalho o torna mais difícil de ser realizado, pois como elas têm
que se basear na intuição e na prática, o trabalho acaba tendo que ser
constantemente refeito, total ou parcialmente.
Ainda com relação aos testes, as respostas ao questionário demonstram que
os critérios utilizados na escolha dos textos e dos itens dos testes não se baseiam
29
30
Op. Citado, p. 7.
Op. Citado, pp. 10 e 11.
55
em métodos pedagógicos, mas em praticidade. Embora muitos testes demonstrem
ter sido elaborados dentro de um raciocínio lógico, percebe-se que as escolhas dos
itens são feitas intuitivamente, sem uma fundamentação consciente por parte das
professoras. Isso não acontece sem razão, pois como diz BROWN31, a validação de
um teste é um critério muito complexo. Em outras palavras, elaborar um teste e, ao
mesmo tempo, avaliar se ele está medindo, de fato, aquilo que pretendemos é bem
difícil, e mais ainda, quando não se tem base teórica e metodológica suficiente para
tanto.
Finalmente, temos a questão da validação dos testes sendo baseada, pelas
professoras, nos resultados obtidos, o que na concepção de BACHMAN32 é o que se
deve fazer. No entanto, essa base parece ser mais intuitiva, que metodológica, uma
vez que a qualificação do teste como “adequado”, “fácil” ou “difícil” é estabelecida
em relação aos alunos de uma mesma turma. Dificilmente conseguimos formar
várias turmas, de um mesmo nível, que sejam homogêneas em si mesmas e entre
si. Se a turma for mais “fraca”, o resultado será diferente do encontrado em uma
turma “mista” ou mais “adiantada”. Neste caso, o mesmo teste que seria adequado
para uma turma mais “fraca”, seria fácil para as outras duas, por exemplo. Aqui,
então, se apresenta mais uma vez a fundamental importância do conhecimento
teórico da validação dos testes no processo de ensino / aprendizagem de leitura em
língua inglesa, tão defendida pelos estudiosos citados nesta pesquisa.
31
32
Op. Citado, p. 11.
Op. Citado, pp. 11 e 12.
56
7 – CONCLUSÃO
O início deste trabalho se deu a partir do pressuposto de que a falta de
conhecimento teórico sobre elaboração de testes de leitura em inglês como língua
estrangeira pode comprometer a validade do teste.
A suspeita apresentada na seção 1.2 (Justificativa), de que a falta de tempo
era uma das grandes dificuldades encontradas pelos professores do CELIN ao
trabalhar com a leitura em sala de aula, foi confirmada através do questionário
respondido pelas professoras. A partir dessa suspeita, levantei algumas questões,
que foram respondidas, dentro dos objetivos traçados para este trabalho e que
reproduzo a seguir, com as respectivas conclusões a que pude chegar.

Será que os professores de inglês do CELIN trabalham sistematicamente com
leitura em sala?
Sim. A partir das respostas das professoras ao questionário, pudemos ver que
a maioria delas faz um trabalho sistemático com leitura em sala, muito embora elas
demonstrem ter idéias bem diferentes de como esse trabalho deve ser feito. Cada
uma faz um trabalho diferente, o que, em si, não é negativo. Um problema
decorrente do fato de elas não seguirem uma mesma linha no ensino de leitura é
que trabalhos tão diferenciados podem gerar resultados diferentes em termos de
aprendizado e turmas com níveis de habilidade de leitura em inglês também
diferentes.

Os professores têm de fato alguma dificuldade em trabalhar com leitura?
Na elaboração do questionário eu supunha que os professores do CELIN
teriam, em geral, alguma dificuldade nesse tipo de trabalho. As professoras que
responderam o questionário também fizeram a mesma assunção e as dificuldades
apontadas vão da falta de tempo às expectativas dos alunos de entenderem 100%
do texto, passando pela falta de dinamismo da leitura e pela falta de hábito que os
alunos têm de ler, mesmo em língua materna.
As respostas dadas podem estar indicando um certo comprometimento do
trabalho realizado em sala. Se não há tempo suficiente para trabalhar com a leitura,
por exemplo, esse trabalho pode não estar sendo realizado na sua totalidade e
57
alguma, ou várias coisas importantes podem não estar sendo ensinadas. A falta de
dinamismo pode estar levando as professoras a deixar que a leitura seja feita
apenas em casa e não na sala de aula, que muitas vezes é equivocadamente vista
como um ambiente dinâmico por excelência.
Além disso, a falta de hábito de leitura pode realmente comprometer o
rendimento do trabalho com leitura, uma vez que a tendência é que os alunos que
não têm esse hábito precisem de mais tempo na realização das atividades. No
entanto, essa é uma dificuldade que pode ser trabalhada com técnicas de leitura,
treino e controle de tempo, sem precisar ser a causa de um trabalho incompleto.
Finalmente, na medida em que os alunos percebem que não precisam
entender o significado exato de cada palavra do texto, eles geralmente mudam suas
expectativas em relação à leitura e isso deixa de ser um problema.
Portanto, podemos concluir que pode estar havendo um comprometimento do
trabalho realizado com a leitura na sala de aula, em vários graus, e que o
conhecimento sobre o trabalho com leitura pode fazer uma diferença significativa na
qualidade e na otimização do processo de ensino/aprendizagem.

Qual a origem dessa dificuldade em se trabalhar com leitura em sala?
Considerando o fato de que a maioria das professoras afirmou que não teve acesso
a maiores conhecimentos teóricos sobre leitura e sabendo que este conhecimento
pode fazer a diferença, percebemos que pode estar aí a origem das dificuldades
relatadas. Saber como a leitura pode ser trabalhada de forma dinâmica em sala;
saber estabelecer o tempo necessário para trabalhar determinada atividade de
leitura; entender como podemos inserir a leitura no plano de aula, sem utilizar nem
mais nem menos tempo que o necessário; saber utilizar a leitura como base para o
trabalho com as outras habilidades; etc. Todos esses são exemplos de
conhecimentos que são pouco considerados na formação teórica do professor e
que, na prática, resultam nas dificuldades identificadas pelas próprias professoras.

Que tipo de avaliação formal de leitura está sendo usado no CELIN?
Os testes de leitura elaborados e aplicados no CELIN, no curso de inglês como
língua estrangeira, seguem o formato proposto pelos estudiosos, no que diz respeito
aos tipos de itens elaborados. No entanto, pudemos perceber que um maior
58
conhecimento teórico sobre elaboração de testes seria muito útil, tanto para nortear
e facilitar o trabalho dos professores, quanto para garantir a validade dos resultados
dos mesmos, através da antecipação dos pequenos problemas identificados e
comentados na seção 6, acima.

A elaboração parte de uma base teórica, ou da intuição do professor?
De acordo com as próprias professoras, a elaboração dos testes de leitura de inglês
partem de uma base intuitiva. Elas contam com a colaboração dos profissionais mais
experientes, dos colegas, utilizam testes anteriores, modificam o que parece muito
fácil ou difícil, por exemplo, mas nenhuma delas parte, assumidamente, de uma
base teórica determinada, qualquer que seja, por não contarem com esse tipo de
informação no currículo proposto para sua formação profissional.

Que análise pode ser feita dos tipos de teste de leitura que estão sendo
aplicados no CELIN?
Os itens utilizados nos testes do CELIN são amplamente citados nos estudos
realizados sobre o assunto, por vários autores. Reitero aqui a idéia de que não há
um método de teste que possa ser considerado o melhor. No entanto, pelas
respostas dadas às perguntas sobre teste no questionário, pude confirmar a
impressão de que os próprios professores sentem falta de uma base teórica que os
guie com mais segurança na execução dessa tarefa. Pude concluir que os testes de
leitura utilizados são adequados, de acordo com o levantamento dos estudos feito
neste trabalho. Mas, percebi que poderiam ser melhores do que já são, caso fossem
validados pelos professores de forma mais técnica, sem que eles precisassem se
apoiar mais na intuição que na teoria.
Partindo de um problema identificado no meu dia-a-dia como professora do
CELIN, tentei identificar se minhas suspeitas tinham algum fundamento. Minha
intenção era fazer um levantamento do que está acontecendo, neste momento, na
área de testes de leitura em língua inglesa nesse instituto de línguas, em relação
aos professores e aos testes por eles elaborados.
É importante frisar que a análise que foi feita dos itens constantes nos testes
de inglês selecionados tem por base o estudo teórico da bibliografia que julguei mais
59
adequada aos meus propósitos. E a análise das respostas do questionário aplicado
não seguiu uma metodologia pré-determinada, sendo inteiramente interpretativa.
Isso se deu, porque a intenção era mesmo fazer uma análise interpretativa dos
dados, sem vistas a possíveis generalizações, justificando, assim, a escolha pela
metodologia qualitativa na realização desta pesquisa.
Partindo dos resultados deste estudo e da minha experiência como aluna da
UFPR e professora do CELIN pude perceber que, neste momento, há a necessidade
um intercâmbio maior entre eles, no que diz respeito às necessidades reais impostas
pelo mercado de trabalho e que o programa de formação de professores de língua
estrangeira da referida universidade ainda não oferece aos seus alunos. Refiro-me
aos estudos sobre leitura em inglês como língua estrangeira e sobre testes, em
geral. Foi precisamente esta lacuna minha motivação maior para este trabalho, pois
acredito que tanto a universidade quanto o CELIN visam a formação e a qualificação
do professor. Sendo assim, elas constituem o ambiente perfeito para a identificação
de possíveis problemas e a formulação de prováveis soluções.
Finalizando, quero deixar claro que minha pretensão com este estudo não era
encontrar as soluções, mas identificar a existência de alguns problemas e abrir
caminho para maiores reflexões sobre o assunto, na busca de conhecimentos que
levem à excelência profissional do professor de inglês como língua estrangeira.
60
REFERÊNCIAS
ALDERSON, J. Charles. Assessing reading. Cambridge: Cambridge University
Press, 2002.
BACHMAN, Lyle F. Fundamental Considerations in Language Testing. Oxford:
Oxford University Press, 1991.
BACHMAN, Lyle F.; PALMER, Adrian S. Language testing in practice. Oxford:
Oxford University Press, 1997.
BROWN, H. Douglas. Teaching by principles: An interactive approach to
language pedagogy. 2nd ed. New York: Longman, 2001.
CARRELL, P. L. A View of Written Text as Communicative Interaction: Implications
for Reading in a Second Language. In: DEVINE, J.; CARRELL, P. L.; ESKEY, D. E.
(Ed.) Research in Reading in English as a Second Language. Washington, D.
C.:TESOL, 1987. p. 21 – 36.
COHEN, Andrew D. Assessing language ability in the classroom. 2nd ed. Boston:
Heinle & Heinle, 1994.
DAVIES, Alan et al. Dictionary of language testing. Cambridge: Cambridge
University Press, 2002.
FOUCAMBERT, Jean. A Leitura em Questão. Tradução: Bruno Charles Magne.
Porto Alegre: Artmed, 1994.
MCNAMARA, Tim. Language Testing. Oxford: Oxford University Press, 2000.
NUNAN, David. Research Methods in Language Learning. Cambridge: Cambridge
University Press, 2003.
NUTTALL, Christine. Teaching reading skills in a foreign language. Oxford:
Heinemann, 2000.
61
ANEXOS
Anexo 1
Básico II
1. Read the text and number the correct order of the paragraphs from 1 to 7.
___
Keith died in a car accident. A lot of men were interested in Vivian because they
thought she had a lot of money. She met, married, and divorced her third husband
Brian in thirteen weeks! He died soon after she divorced him. She got married again,
this time to Graham, but they got divorced after only a year.
___
They quickly spent thousands of pounds on clothes, furniture, horses, guns, and cars.
They began to lose their old friends and moved house several times. People were
jealous and they got a lot of horrible letters from people who wanted to kill them. Both
Keith and Vivian had big problems with alcohol. And then
___
Vivian moved house again and got a job as a singer in a nightclub. Then she bought
a shop and tried to start a business but that quickly closed. She got married again but
her fifth husband killed himself. Vivian now lives alone quite near the house where
she lived before she won the money. And her plan to ‘spend, spend, spend’? Yes,
she spent it all.
___
Vivian Nicholson was born at home in Castleford in the north of England on 3rd April
1936. She had two brothers and two sisters. Her uncle and two cousins lived in the
same house so she slept in a bed with three other girls. Her family was very poor and
she only had one pair of shoes. When she was sixteen she left school and went to
work in a sweet factory.
___
They won £ 152,319 on the football pools – a record win (about £ 2 million today).
When they arrived in London to get the cheque, there were hundreds of journalists
waiting at the station. ‘What are you going to do with all this money?’ they asked
Vivian. ‘I’m going to spend, spend, spend, that’s what I’m going to do.’
___
When she was seventeen she married her first boyfriend, Matt. Their son, Steve, was
born six months later. But soon Vivian fell in love with her neighbour, Keith. She
divorced Matt and married Keith and they had three children. Keith didn’t have a very
good job and they never had enough money. Then in 1961 their life changed …
___
And She did. Vivian and Keith went out every night. They had parties for all their
friends and for many people who weren’t their friends, too. They flew to the USA for a
holiday. They bought a big Chevrolet car, a new house, and expensive presents for
all their family. But …
Source: English File
2. Answer the questions with COMPLETE ANSWERS:
a. When did her life have big a change?
__________________________________________________________________
b. What happened to her last husband?
__________________________________________________________________
c. When did she first marry?
__________________________________________________________________
62
Anexo 2
Básico IV
Streets markets around the world
Do you want to buy a new pair of sunglasses? The latest CD? Or something for your dinner
this evening? Nowadays you can shop by telephone, by post or through your home
computer, but for many people, the most exciting way to shop is also the most (1)
____________ – at a street market. Here are three of them.
Thousands of people (2) ___________ Camden Market, in London to buy jewellery, CDs and
tapes… but many people go for the lively (3) ______________!
Damnoen is a floating market in Asia, in which from six in the morning to midday, everyday,
people sell fresh (4) _________ fruit and vegetables from their (5) __________.
In Istanbul, Turkey there is The Grand Bazaar where people can buy almost anything, but
the most popular items for tourists are the (6) __________ rugs and carpets. Besides, there
are more than 4 thousand shops under one roof. It’s open all day everyday!
Text adapted from Cutting Edge – elementary
1. Which from the words in the box fit each gap? There are two extra choices that
do not need to be used.
boats
beautiful
atmosphere
Visit
food
traditional
come
tropical
2. Complete the sentences with true or false:
(
(
(
(
) Nowadays people prefer to buy things on the internet;
) Street markets can only offer food and drinks for people to buy;
) The only thing people can do in Camden market is buying special goods;
) The Grand Bazaar in Istanbul in a big place where you can buy rugs and
carpets.
63
Anexo 3
Pré-Intermediário II (2º sem. -2004)
Read the following text and complete the sentences below with information mentioned in the
text. (0.2 each = 1.0)
Barbie’s secret story
Like many stars, Barbie is not what she seems. Not only is she older than her official
age, but Barbie is not her real name, and what’s more, she isn’t even American, she’s
German.
Barbie’s real name is in fact Lili. She is 45 not 40 and was born in a small town near
Nuremberg.
It was in 1952 that Lili was born, in her first incarnation – as a cartoon character for
the daily German newspaper Bild Zeitung. She was named Lili, and by 1955 she was so
popular that it was suggested the doll should be made as a present for visitors to the
newspaper.
Unlike any other dolls of her time, she was not a baby, but a fully grown modern
young woman.
Lili doll went on the market on August 12 1955, and became an overnight success.
Within weeks there were so many orders that O&M Hausser, a small manufacturer, could not
keep up with the demand.
In 1956 a woman called Ruth Handler and her husband Elliot, co-founders of Mattel,
a big toy manufacturer in the USA, bought a Lili doll on a trip to Switzerland and, back in the
USA, had the doll perfected in Japan and renamed as Barbie, after Ruth’s daughter.
After the big success, Mattel offered to buy the patent of Lili. Not knowing of Barbie’s
existence, Rolf Hausser sold the patent for a small quantity of money. When he learnt about
the success of Barbie he decided to take Mattel to court, but his brother persuaded him not
to do so.
1. Although she is known worldwide as
Barbie,____________________________________________________________________
__________________________________________________________________________
2. Lili began as a cartoon character. However,
________________
____________________________________________________________________
3. Rolf Hausser knew nothing about Barbie, therefore_______________________________
__________________________________________________________________________
4. He wanted to take Mattel to court but
________________
__________________________________________________________________________
5. O&M Hausser couldn’t make more dolls unless
__________
____________________________________________________________________
64
Anexo 4
Intermediate II
Text 1
I THREW AWAY A 2.4 MILLION POUND LOTTERY TICKET!!!
Just before Christmas, Agnes Stewart and her husband Colin bought a ticket for the
National Lottery before going to spend a few weeks in Germany with their daughter. On
Christmas Eve the six numbers they had chosen won a £2.4 million prize, but they knew
nothing about it.
Meanwhile, the National Lottery organizers could not understand why nobody had
claimed the prize so they put advertisements in national newspapers asking people to
check their tickets.
When Mr. And Mrs. Stewart came back from their holiday in the middle of January,
they didn’t even bother to check their ticket. Mrs. Stewart found the old ticket and threw it
away.
When Mr. Stewart opened his newspaper on Monday morning and saw the
advertisement, he realized what had happened. ‘I knew they were our numbers because we
always use our birthdays. My first thought was that we had won a fortune, but then I
immediately felt horrified because I had no idea what we had done with the ticket.’
Mr. Stewart immediately ran upstairs and looked desperately for the ticket among his
holiday papers while, in a blind panic, his wife rushed to look in the rubbish bin outside the
house.
She said: ‘I opened the bin and, incredibly, there it was lying on the top. I think it was
fate. I just couldn’t believe it, and ran back into the house shouting, “Colin, I’ve got it!”’
Although they are now multi-millionaires, the Stewarts have no plans to retire and
they plan to continue living in the same house and driving the same car. Yesterday they
celebrated their new-found fortune with champagne. ‘We are so lucky’, said Mrs. Stewart. ‘If I
had thrown the ticket away 24 hours earlier, we would have lost a fortune.’
Glossary
to claim: to ask for something of value because it belongs to you
to bother: to make an effort to do something, to worry about something
rubbish bin: trash can, garbage can
fate: destiny
1. Answer the following questions according to the text. (10 points – 2 each)
a) Were the Stewarts worried about the result of the National Lottery after they came back
from Germany? Justify your answer.
_______________________________________________________________________
_______________________________________________________________________
_______________________________________________________________________
_______________________________________________________________________
b) What numbers did they choose to try their luck?
_____________________________________________________________
65
c) Where did Mrs. Stewart find the ticket?
_____________________________________________________________
d) Now that they became millionaires, what are they planning to do?
_______________________________________________________________________
___________________________________________________
e) What would have happened if they had gotten rid of the ticket one day before?
_______________________________________________________________________
___________________________________________________
Text 2
SUPER SIZE ME (2004)
The compelling and hilarious documentary Super Size Me follows director Morgan
Spurlock's investigation into America's eating habits. Taking his art to heart, Spurlock bravely
eats nothing but McDonald's throughout filming - three meals a day, for 30 days - monitored
by an anxious team of doctors and his ever-present camera crew. As his physical and mental
well-being deteriorates, he tours America examining the causes of his nation's everexpanding hunger. The results, of both his experiment and investigation, are amazing.
Spurlock got the idea for Super Size Me when he heard of two overweight schoolgirls
who brought a lawsuit against the burger firm. Their suit failed only when they failed to
prove that eating McDonald's was injurious to their health. Spurlock sets out to prove just
that. Along the way, he meets a lot of interesting people: uncomfortable food industry
lobbyists; unscrupulous lawyers; school dinner ladies who never cook; and a handful of
provocative academics.
The film’s approach is not entirely scientific, and its somewhat simple conclusion
seems designed to discourage any audience members preparing to applaud. Nonetheless,
Super Size Me is a wonderful achievement.
Adapted from Jonathan Trout’s movie review, 2004
Glossary
If a reason, argument, etc is compelling, it makes you believe it or accept it because it is
strong.
Well-being: the state of feeling healthy and happy.
Lawsuit, suit: a case in a court of law.
2. Check what information is mentioned in the text. (10 points – 2 each)
a) (
b) (
c) (
d) (
e) (
) How often he would eat at McDonald’s every day.
) Spurlock’s opinion about McDonald’s.
) The reason why Americans love McDonald’s.
) What happens to his body and his mind as a result of the filming.
) The number of McDonald’s he visited.
66
Anexo 5
Para responder a este questionário, você deve considerar a preparação do
segundo teste de leitura de um dos níveis a seguir: Básico II (1º sem. 2005); Básico
IV (1º sem. 2005); Pré-intermediário II (2º sem. 2004) ou Intermediário II (1º sem.
2005). O teste em questão está anexo.
Importante:
 Não se identifique.
 Para evitar o seu reconhecimento, por favor, retire o teste anexo e fique com
ele antes de devolver o questionário.
 O teste deverá ser guardado ou destruído, já que ainda poderá ser utilizado
total ou parcialmente em futuros testes.
 Tente responder todas as perguntas e os porquês.
Muito Obrigada!☺
Questionário para pesquisa monográfica
1) Você fez alguma matéria direcionada para leitura ou para o ensino de leitura
em LEM, na UFPR ou em outro curso?
Sim ( )
Não ( )
Onde? ___________________________________
Qual? ____________________________________
2) Em sua opinião, o que pode dificultar o trabalho com leitura em sala?
3) Você costuma trabalhar sistematicamente com leitura, com seus alunos do
curso regular33 de inglês no CELIN?
Sim ( ) Não ( )
Como?
4) Como o trabalho com a leitura em sala pode influenciar na desempenho do
aluno na prova de leitura?
33
Na elaboração do questionário, considerei “curso regular” como sendo o curso de inglês como segunda língua,
em oposição aos outros cursos de inglês que o CELIN oferece: Tópicos para Conversação, Pronúncia,
Compreensão de Textos, Novas Tecnologias no Ensino de LEM, Inglês Comercial, Intercultural Studies e
Storytelling.
67
5) Você fez alguma matéria na universidade ou em outro curso que tenha
abordado as diferentes maneiras de acessar o conhecimento do aluno, ou
como selecionar e preparar testes de língua estrangeira?
Sim ( )
Não ( )
Onde?_____________________________________
Qual? _____________________________________
6) Qual a importância de se testar a habilidade de leitura em um curso regular34
de língua estrangeira?
7) Quando você preparou seu primeiro teste, você se sentia preparada(o) para
isso? Se não, o que faltou?
8) Qual sua opinião sobre a preparação uma prova de leitura, em si? Isto é,
você gosta do trabalho de escolha do texto e elaboração das questões? Por
quê?
9) Como você aprendeu a preparar testes?
10)Que critérios você utilizou para selecionar o(s) texto(s) da prova anexa? Por
exemplo, você selecionou um texto com um tema qualquer, mas com o
mesmo nível de dificuldade dos textos encontrados no livro didático; um texto
do mesmo tamanho e com um tema parecido ao do livro didático; ou quem
sabe um texto com o mesmo tema do livro didático, que você editou para ficar
com o mesmo nível de vocabulário e dimensão daqueles encontrados no livro
didático.
34
Ibid., p. 66.
68
11)O texto que você escolheu para a prova anexa foi tirado de:
a) outro livro didático do mesmo nível daquele que você estava
trabalhando
b) outro livro didático de nível diferente daquele com o qual você estava
trabalhando – que nível? _____
c) um site da Internet para professores, com textos facilitados e exercícios
preparados – neste caso, você aproveitou os exercícios? Sim ( )
Não ( )
d) outro – Qual?
Por quê?
12)Você acha importante que os tipos de exercícios preparados para a prova
sejam semelhantes aos que foram usados em sala?
Sim ( )
Não ( )
Por quê?
13)Você poderia explicar por que você escolheu os exercícios da prova anexa?
14)Depois de ter aplicado o teste, dados os resultados obtidos, como você o
classificaria?
e) fácil
b) adequado
c) difícil
Por quê?
15)Como você sabe se um teste funcionou bem?
69
Anexo 6