UFRGS – IL – PPG-LET – Estudos da Linguagem
Disciplina: Seminário de Lingüística Aplicada: Avaliação de proficiência em língua estrangeira e materna
Professora: Margarete Schlatter
Semestre: 2007/2
EMENTA
O papel da avaliação na escola e em outros contextos. Objetivos de avaliação de língua estrangeira (LE) e língua
materna (LM) e conceitos básicos. Formatos de testes, itens e tarefas. Avaliação de leitura, produção de texto,
compreensão e produção oral. Exames de proficiência. Efeitos retroativos no ensino. Propostas alternativas de
avaliação de LE/LM.
OBJETIVOS
Refletir sobre o papel da avaliação na escola e em outros contextos. Analisar objetivos de avaliação de LE e de
LM e conceitos na área de avaliação: proficiência, confiabilidade e validade. Analisar diferentes formatos de
testes, itens e tarefas. Discutir a avaliação de leitura, produção de texto, compreensão e produção oral. Avaliar
instrumentos de avaliação e discutir possíveis efeitos retroativos da avaliação no ensino e na formação de
professores. Discutir propostas alternativas de avaliação de LE e LM e elaborar uma proposta de avaliação.
PROGRAMA
Aula 1 – Avaliação de língua estrangeira/materna e definição de proficiência
Luckesi (1996); Doll (2000); Scaramucci (2000); Schlatter, Garcez & Scaramucci (2004)
Aula 2 – Esclarecendo conceitos na área de avaliação
Hughes (1989) – cap. 3, 4 e 5; Chapelle (1999); Schlatter, Almeida, Fortes & Schoffen (2005)
Aula 3 – A elaboração de testes
Hughes (1989) – cap. 7 e 8; Bachman (1991); Douglas (2000) – cap. 3
Opcionais: Fulcher (1999); Jonz (1990)
Aula 4 – Avaliação da leitura
Hughes (1989) – cap. 11; Peirce (1992); Hill & Parry (1992)
Opcionais: Hadley (1993) – cap. 9; Bernhardt & Kamil (1995)
Aula 5 – Avaliação da produção escrita e grades de avaliação
Hughes (1989) – cap. 9; Guedes et al. (2000); Askhave & Swales (2001)
Aula 6 – Avaliação por tarefas e grades de avaliação (cont.)
Manual Celpe-Bras – p. 3-16; Turner & Upshur (2002); Robinson & Ross (1996)
25/10 – não haverá aula
Aula 7 – Avaliação da compreensão oral e integração com outras habilidades
Hughes (1989) – cap. 12; Major et al. (2002); Tsu & Fillilove (1998)
Aula 8 – Avaliação da produção oral
Hughes (1989) – cap. 10; Maunal Celpe-Bras p. 17-22; McNamara (1997), Johnson (2000); Iwashita, Mcnamara
& Elder (2001)
Opcionais: van Lier (1989); Walker (1990); Hoekje & Linnell (1994)
Aula 9 – Seminário: apresentação das resenhas críticas
Aula 10 – O impacto social da avaliação: efeitos retroativos no ensino de línguas
Alderson & Wall (1993); McNamara (2000) – cap. 7; Scaramucci (1999); Marcuschi (2001)
Aula 11 – O impacto social da avaliação em outros contextos e a harmonização de sistemas de avaliação
Douglas (2000) – cap. 5; Tampone (2000); Documentos da ALTE (http://www.alte.org/); Documento de
trabalho da OEI: Las certificaciones de conocimientos de lenguas en los países iberoamericanos: Panorama
actual y perspectivas – Proyecto CERTEL (http://www.oei.es/certel.htm)
Aula 12 – Seminário: Formas alternativas de avaliação
Hamayan, 1995; Kunnan (1999)
Portfolios: Johnson (1996); Shores & Grace (2001)Yang (2003)
Diários:
Auto-avaliação: Peirce, Swain & Hart (1993); Lara (1994)
Avaliação colaborativa: Lwkowicz & Nunan (1999)
Outros:
Aula 13 – Preparação dos seminários de análise e proposta de instrumentos de avaliação
Aula 14 – Seminário: Análise de exames de proficiência em língua estrangeira, provas de vestibular ou
outros instrumentos de avaliação
Aula 15 – Seminário e entrega do trabalho final: Proposta de avaliação
AVALIAÇÃO
• Leitura cuidadosa dos textos e participação nas discussões em sala de aula;
• Seminário: resenha crítica de um livro/tese/dissertação na área de avaliação (a partir de 2005);
• Seminário: formas alternativas de avaliação;
• Seminário: análise de testes e/ou outros instrumentos de avaliação;
• Seminário e trabalho final: análise de instrumentos de avaliação e de grades de correção e elaboração de um
instrumento de avaliação com explicitação dos pressupostos teóricos, objetivos, nível etc;
a) Descrição do instrumento de avaliação: caracterizar o instrumento analisado quanto aos objetivos, nível,
contexto de ensino, habilidades/conteúdos avaliados, critérios de avaliação (grade de correção).
b) Análise do instrumento: com base nas características do instrumento e da grade de correção e nas leituras
e discussões feitas, inferir qual é a visão de língua subjacente, avaliar a validade do instrumento
comparando-o com os objetivos propostos, avaliar os aspectos que contribuem para a confiabilidade dos
resultados e avaliar a praticidade do instrumento considerando o público alvo.
c) Proposta de instrumento de avaliação: fazer uma proposta de modificação do instrumento de avaliação
analisado, justificando as alterações sugeridas OU criar um novo instrumento de avaliação, explicitando
objetivos, nível, contexto de aplicação e justificando a proposta (por que esse instrumento é adequado para
os objetivos propostos).
Observação: os seminários e trabalho final devem ser feitos em duplas.
BIBLIOGRAFIA
ALDERSON, J. Charles & WALL, Dianne (1993) Does washback exist? Applied Linguistics, 14 (2): 115-129.
ASKEHAVE, Inger & SWALES, John M. (2001) Genre identification and communicative purpose: a problem
and a possible solution. Applied Linguistics, 22 (2): 195-212.
BACHMAN, Lyle F. (1991) What does language testing have to offer? TESOL QUARTERLY, 25 (4): 671-704.
BERNHARDT, Elizabeth B. & KAMIL, Michael L. (1995) Interpreting relationships between L1 and L2
reading: consolidating the linguistic threshold and the linguistic interdependence hypotheses. Applied
Linguistics, 16 (1) 15-34.
CERTIFICADO DE PROFICIÊNCIA EM LÍNGUA PORTUGUESA PARA ESTRANGEIROS: MANUAL DO
CANDIDATO (2003) Brasília: MEC.
CHAPELLE, Carol A (1999) Validity in language assessment. Annual Review of Applied Linguistics, 19: 254272.
DOLL, Johannes (2000) Avaliação na Pós-modernidade. In: Paiva, Maria da Graça Gomes & Brugalli, Marlene.
Avaliação: Novas tendências, novos paradigmas. Porto Alegre: Mercado Aberto. p. 11-44.
DOUGLAS, Dan (2000) Assessing language for specific purposes. Cambridge: Cambridge University Press.
FULCHER, Glenn (1999) Assessment in English for academic purposes: putting content validity in its place.
Applied Linguistics, 20 (2): 221-236.
GUEDES, Paulo C.; FISCHER, Luís A & SIMÕES, Luciene J. (2000) O paradigma de avaliação da redação na
UFRGS. In: PAIVA, Maria da Graça G. & BRUGALLI, Marlene (orgs.) Avaliação: novas tendências,
novos paradigmas. Porto Alegre: Mercado Aberto. p. 79-103.
HADLEY, Alice Omaggio. (1993) Teaching language in context. Rowley, Ma, Heinle & Heinle.
HAMAYAN, Else V. (19950 Approaches to alternative assessment. Annual Review of Applied Linguistics, 15:
212-226.
HILL, Clifford & PARRY, Kate (1992) The test at the gate: models of literacy in reading assesssment. TESOL
QUARTERLY, 26 (3): 433-461.
HOEKJE, Barbara & LINNELL, Kimberly (1994) “Authenticity” in language testing: evaluating spoken
language tests for international teaching assistants. TESOL QUARTERLY, 28 (1): 103-126.
HUGHES, Arthur (1989/1994) Testing for language teachers. Cambridge: Cambridge University Press.
IWASHITA, Noriko; McNAMARA, Tim; ELDER, Catherine (2001) Can we predict task difficulty in na oral
proficincy test? Exploring the potential of na information-processing approach to task design. Language
Learning, 51 (3): 401-436.
JOHNSON, Karen. E. (1996) Portfolio assessment in second language teacher education. TESOL JOURNAL, 6
(2): 11-14.
JOHNSON, Marysia (2000) Interaction in the oral proficiency interview: problems of validity. Pragmatics, 10
(2): 215-231.
JONZ, John (1990) Another turn in teh conversation: what does cloze measure? TESOL QUARTERLY, 24 (1):
61-83.
KUNNAN, Antony J. (1999) Recent developments in language testing. Annual Review of Applied Linguistics,
19: 235-253.
LARA, Glaucia M. P. (1994) Autocorreção e auto-avaliação na produção de textos escolares: relato de uma
experiência. In: Duarte, Lélia (org.) TESES 1993. Programa de Pós-Graduação em Letras UFMG. Belo
Horizonte.
LEWKOWICZ, Jo A. & NUNAN, David (1999) The limits of collaborative evaluation. TESOL QUARTERLY,
33 (4): 681-700
LUCKESI, Cipriano (1996) Avaliação educacional escolar: para além do autoritarismo. In: Luckesi, Cipriano.
Avaliação da aprendizagem escolar. São Paulo: Cortez. p. 27-47.
MAJOR, Roy C.; FITZMAURICE, Susan F.; BUNTA, Ferenc; BALASUBRAMANIAN, Chandrika (2002) The
effects of nonnative accents on listening comprehension: implications for ESL assessment. TESOL
QUARTERLY, 36 (2): 173-190.
MARCUSCHI, Elizabeth (2001) Os destinos da avaliação no manual do professor. In: Dionisio, Angela P. &
Bezerra, Maria A. (orgs.) O livro didático de português: múltiplos olhares. Rio de Janeiro: Lucerna. p.
139-150.
McNAMARA, Tim (2000) Language testing. Oxford: Oxford University Press.
McNAMARA, Tim. F. (1997) ‘Interaction’ in second language performance assessment: whose performance?
Applied Linguistics, 18 (4) 446-466.
PEIRCE, Bonny N. (1992) Demystifying the TOEFL reading test. TESOL QUARTERLY, 26 (4): 665691.
PEIRCE, Bonny N.; SWAIN, Merrill & HART, Doug (1993) Self-assessment, French immersion, and locus of
control. Applied Linguistics, 14 (1): 25-42.
ROBINSON, Peter & ROSS, Steven (1996) The development of task-based assessment in English for academic
purposes programs. Applied Linguistics, 17 (4): 455-476.
SCARAMUCCI, Matilde V. R. (1999) Vestibular e ensino de língua estrangeira (inglês) em uma escola pública.
Trabalhos em Linüística Aplicada (34): 7-20.
SCARAMUCCI, Matilde V. R. (2000) Proficiência em LE: Considerações terminológicas e conceituais.
Trabalhos de Lingüística Aplicada, 36:11-22.
SCHLATTER, Margarete; ALMEIDA, Alexandre do N.; FORTES, Melissa S.; SCHOFFEN, Juliana R. (2005)
Avaliação de desempenho e os conceitos de validade, confiabilidade e efeito retroativo. A avaliação do
texto de vestibular: diferentes enfoques. Coperse. UFRGS.
SCHLATTER, M.; GARCEZ. P. M. & SCARAMUCCI, M. V. R. (2004) O papel da interação na pesquisa sobre
aquisição e uso da língua estrangeira: implicações para o ensino e para a avaliação. Letra de Hoje, 39
(3): 345-378.
SHORES, Elizabeth & GRACE, Cathy (2001) Manual de Portfólio: Um guia passo a passo para o professor.
Porto Alegre: Artmed.
SPOLSKY, Bernard (1989) Communicative competence, language proficiency, and beyond. Applied
Linguistics, 10 (2): 138-156.
TAMPONI, Anna Rita (2000) Quadro europeu de ensino e aprendizagem de línguas: a pesquisa de paradigmas
comuns de avaliação. In: PAIVA, Maria da Graça G. & BRUGALLI, Marlene (orgs.) Avaliação: novas
tendências, novos paradigmas. Porto Alegre: Mercado Aberto. p. 59-76.
TSUI, Amy B. M. & FULLILOVE, John (1998) Applied Linguistics, 19 (4): 432-451.
TURNER, Carolyn E. & UPSHUR, John A (2002) Rating scales derived from student samples: effects of the
scale maker and the student sample on scale content and studen scores. TESOL QUARTERLY, 36 (1):
49-70.
van LIER, Leo (1989) Reeling, writhing, drawling, stretching, and fainting in coils: oral proficiency interviews
as conversation. TESOL QUARTERLY, 23 (3): 489-508.
WALKER, Clifford (1990) Large-scale oral testing. Applied Linguistics, 11 (2): 200-219.
YANG, Nae-Dong (2003) Integrating portfolios into learning strategy-based instruction for EFL college
students. IRAL, 41: 293-317.
OUTROS TEMAS
• Avaliação de léxico e gramática (Hughes, 1989 – cap.13; Bogaards, 2000)
• Testes de múltipla escolha e análise de itens (Bailey, 1998 – cap. 9)
• Ferramentas para análises estatísticas (Bailey, 1998 – cap. 7 e 8)
BAILEY, Kathleen M. (1998) Learning about language assessment: dilemmas, decisions, and directions. New
York: Heinle & Heinle.
BOGAARDS, Paul (2000) Testing L2 vocabulary knowledge at a high level: the case of the Euralex French
Tests. Applied Linguistics, 21 (4): 490-516.
Períodico: Language Testing http://www.arnoldpublishers.com/Journals/pages/lan_tes/02655322.htm