AVALIAÇÃO ENTRE PARES
Monteiro, Vera
Fragoso, Rodrigo
Instituto Superior de Psicologia Aplicada
[email protected]
Pretende-se, nos nossos dias, que a avaliação assente numa relação entre o aluno e a aprendizagem
tendo o professor e o aluno uma função de regulação pedagógica, e de orientação do processo de
ensino-aprendizagem. Nesta relação a explicitação dos critérios de avaliação deve ser efectuada de
forma clara, sendo necessário perceber como os alunos interpretam esses critérios e a representação
que constroem à volta deles. Para tal, poderão desenvolver-se estratégias facilitadoras do processo de
apropriação dos critérios de avaliação, nomeadamente o trabalho de colaboração entre pares.
O presente estudo teve como objectivo a análise do papel da concertação dos critérios de avaliação
entre pares na avaliação de uma composição. Considerávamos que os alunos que efectuassem
concertação sobre os critérios de avaliação atribuiriam notas mais similares entre si às composições,
do que os alunos que trabalhassem individualmente. Participaram no estudo alunos do 9º ano de
escolaridade. Os instrumentos de recolha de dados utilizados foram composições de língua
portuguesa que teriam de avaliar de acordo com as instruções dadas. Os resultados obtidos apontam
para menores divergências inter-avaliadores na situação de concertação do que na situação de
avaliação individual, o que nos mostra a importância da explicitação e discussão dos critérios de
avaliação.
De acordo com Barbosa e Alaiz (1994), a medição objectiva que se procura fazer na
avaliação escolar, através de rigorosos instrumentos de medida, comparando no final de um
período de aprendizagem, os produtos obtidos pelos alunos, com os objectivos previamente
definidos, acaba por ser, uma avaliação pontual, um interregno no processo de
ensino/aprendizagem, sem nele se integrar. Na opinião destes autores, para que esta situação se
altere é necessário olhar para a avaliação como um instrumento de regulação contínua do
processo de ensino/aprendizagem, cujo objectivo é a orientação quer da acção pedagógica do
professor, quer da actividade de aprendizagem do aluno. (Barbosa & Alaiz, 1994)
Neste sentido, é necessário que o avaliador conheça o motivo e o objecto da avaliação,
de modo a que possa definir os objectivos da avaliação. A definição dos objectivos de avaliação,
deve levar, por sua vez, à definição dos critérios em que a avaliação se baseia, devendo estes ser
construídos sobre índices válidos, que permitam fazer uma apreciação da realização do
objectivo a avaliar.
Importa por isso que, a definição dos critérios de avaliação deva ser feita da forma mais
clara possível, para evitar problemas ao nível da validade e fidelidade. Esta determinação dos
critérios de avaliação, deve permitir também, que a avaliação efectuada, corresponda realmente
ao que se quer avaliar, podendo assim, reduzir ainda a variabilidade intra e inter-individual.
Deste modo, citando Pais e Monteiro (2002, p.47), “ A explicitação de critérios será
tanto mais completa e útil, quanto melhor conseguir indicar com clareza o que os alunos devem
905
fazer em situação de aprendizagem e também as características que o produto final deve
apresentar.”
Contudo, para que a explicitação de critérios, possa promover a tão desejada regulação
do processo de ensino/aprendizagem, há que ter em conta alguns procedimentos, que não sendo
uma resposta a todas as situações, são pistas que se podem ter em conta, as quais devem depois
ser adaptadas a cada situação específica, de acordo com as características próprias do grupo
turma, do(s) aluno(s) e do professor. Esses procedimentos são, na opinião de Barbosa e Alaiz
(1994), os seguintes: a) Explicitação de critérios pelo professor, para si próprio; b) Explicitação
dos critérios para os alunos – esta explicitação deve situar-se além da informação pura e
simples, não basta informar os alunos que critérios sobre os quais que vão ser avaliados. É
necessário aferir como os alunos interpretam esses critérios, e a representação que os mesmos
constroem. Para tal, podem desenvolver-se estratégias facilitadoras da explicitação de critérios.
Os autores apontam duas possibilidades: 1) o desenvolvimento de exercícios de apropriação de
critérios pelos alunos – trata-se do desenvolvimento de tarefas em situação prática, em que os
alunos tenham que explicitar a sua representação dos critérios definidos, e comparar com os
critérios definidos pelo professor. Os alunos podem assim, ir-se apropriando dos critérios,
construindo-os e reflectindo sobre eles, com o apoio do professor; 2) o acompanhamento e
apoio do professor, ao processo de apropriação dos critérios pelos alunos – o professor deve
acompanhar todo o processo de apropriação dos critérios, intervindo e fornecendo feedback aos
alunos, discutindo e, eventualmente, negociando com eles sempre que isso se justifique. c)
Confronto, por parte do professor, entre os critérios explicitados e os efectivamente utilizados –
este processo exige um certo distanciamento reflexivo do professor relativamente às suas
práticas pedagógicas, tendo em vista, analisar e perceber até que ponto o que é avaliado
coincide ou não com o que é ensinado. Não é um processo fácil, no entanto, a partilha com
outros professores, pode ser um caminho frutuoso.
Em suma, parece-nos de vital importância que, para se conseguir mais e melhor sucesso
escolar, devemos caracterizar as situações de aprendizagem, tornando claros os parâmetros que
orientam a avaliação. Assim, torna-se mais fácil para todos os “actores” intervenientes no
processo de ensino/aprendizagem, a observação e a análise das situações mais eficazes e mais
adequadas, bem como, as decisões a tomar, na superação das dificuldades encontradas.
A este propósito referimos a importância do diálogo entre professor e alunos, contudo,
parece-nos também, pertinente, fazer referência à utilidade do diálogo entre os próprios alunos,
o qual pode ser propiciador de uma construção do «saber» através da partilha de experiências.
Segundo Pinto (1994), esta partilha de experiências (aluno-aluno), permite aos mesmos, maior
autonomia na organização do seu trabalho e na construção das aprendizagens, assim como
906
permite uma melhor compreensão do erro, porque o facto de os alunos chegarem a um consenso
entre estes (aluno-aluno), permite-lhes perceber onde, como e porque se errou, sendo desta
forma mais fácil poderem obter sucesso. Ainda na opinião do autor, desenvolvem-se os
mecanismos de auto-correcção, bem como, os mecanismos de entre ajuda e partilha de saberes.
Ora na opinião de Pinto (1994), este diálogo aluno-aluno, permite também ao professor, uma
modificação no “modo de ver” os alunos, uma vez que, o professor se poderá aperceber que os
alunos são capazes de trabalhar autonomamente, e neste sentido, os alunos implicam-se e
interessam-se, como também, aprendem “várias coisas” sozinhos ou com os outros.
Também Sadler (1998, cit. in Black & Wiliam, 2001), salienta a importância do
trabalho de pares (aluno-aluno) em contexto de sala de aula, uma vez que a linguagem utilizada
é a mesma que utilizariam numa outra situação, e ainda, também, porque os alunos aprendem a
fazer de professores e examinadores de outros. Neste sentido, ao ser atribuído o papel de
professores aos próprios alunos, podem também ser-lhes fornecidas «ferramentas» para a
avaliação, como por exemplo, as próprias fichas de avaliação utilizadas pelo professor no
decorrer do processo de ensino/aprendizagem. O fornecimento destas e de outras “ferramentas”
de avaliação podem contribuir para uma visão mais global, dos procedimentos que podem ser
utilizados durante o processo de avaliação de um trabalho escolar.
A auto-avaliação como reguladora do processo de aprendizagem, leva a que, a
participação dos alunos possa estender-se também, a outras modalidades de avaliação,
nomeadamente à avaliação sumativa, à hetero-avaliação e à classificação.
Black e William (2001), referem que, a auto e a hetero-avaliação entre pares podem
trazer benefícios fundamentais a todos os intervenientes no processo de ensino/aprendizagem.
Neste sentido consideram que com estas práticas avaliativas: 1) os alunos aprendem a avaliar o
seu trabalho, e o trabalho dos outros, e ao fazê-lo, desenvolvem critérios para julgarem a sua
qualidade; 2) os alunos começam a desenvolver hábitos e capacidades de colaboração nas
aprendizagens; 3) tanto os professores como os alunos, apercebem-se, que os testes podem
desempenhar um papel positivo na revisão da aprendizagem; 4) os alunos, tornam-se
participantes, e não vítimas, no processo de avaliação.
Podemos desta forma afirmar, que a auto e a hetero-avaliação entre pares, são
instrumentos poderosos de avaliação educacional, que permitem alcançar objectivos
pedagógicos diversos. São estratégias que fazem parte de uma avaliação formadora em que
aqueles que aprendem são construtores do seu próprio conhecimento, logo, o acesso ao
conhecimento, pode fazer-se de uma forma imediata e directa.
No entanto, para que esta forma de trabalhar se torne possível, é imprescindível que o
professor, faça uso de uma diversidade de formas de trabalhar na sala de aula, tais como, o
907
trabalho de grupo, trabalho de pares, em redor das tarefas de resolução de problemas, o
desenvolvimento de projectos, bem como, o trabalho autónomo orientado para a sistematização
de novos saberes, ou para ultrapassar pontos menos fortes.
Deste modo, há que ter presente, que os erros e as dificuldades são parte integrante da
aprendizagem. Sendo a avaliação o instrumento que revela esses mesmos erros e dificuldades, é
através da compreensão da natureza desses próprios erros, que podemos ter um instrumento em
prol das aprendizagens: “ …os instrumentos de avaliação devem ajudar o indivíduo não só a
reconhecer os seus pontos mais fracos, mas fundamentalmente a percebê-los e a ser capaz de
encontrar meios para os ultrapassar.” (Pinto, 2002, p. 64)
O desenvolvimento da avaliação formadora, no terreno, implica uma atitude e uma
prática diferente, não só ao nível do ensino/aprendizagem, mas também na própria relação
pedagógica. “Implica que se passe de uma «pedagogia da reprodução» para uma «pedagogia da
construção», visando a construção do conhecimento, do saber e do saber-fazer (....)” (Pinto,
1994, p. 98)
Com base nestes pressupostos teóricos, o presente estudo tem como objectivo analisar
se a existência de uma concertação entre avaliadores (aluno - aluno) sobre a explicitação dos
critérios de avaliação, faz com que estes atribuam notas mais idênticas entre si na correcção de
uma composição escrita, do que os alunos que não efectuarem concertação sobre esses mesmos
critérios?
Método
Participantes
Ao termos como objectivo analisar a influência da concertação entre pares na avaliação
de uma composição, pareceu-nos que ao trabalhar com alunos do 9º ano de escolaridade, estes
teriam mais facilidade em discutir, concertar sobre os critérios de avaliação. Deste modo a
amostra do nosso estudo é constituída por 53 sujeitos, com idades entre os 13 e os 18 anos de
idade, fazendo parte de três turmas do 9º ano de escolaridade.
Uma vez que era nosso objectivo criar três grupos equivalentes entre si, e para tentar
controlar a variabilidade que existe de turma para turma, optámos por dividir cada turma em três
grupos. Assim, os alunos de cada turma foram distribuídos pelos três grupos de estudo: G1
(grupo individual sem critérios); G2 (grupo individual com critérios); G3 (grupo concertação
com critérios).
Para a distribuição dos alunos pelos diferentes grupos optou-se por uma estratégia de
emparelhamento que permitiu a homogeneidade dos grupos à partida. Deste modo, no
908
emparelhamento dos três grupos teve-se em conta, o nível que os alunos obtiveram à disciplina
de Língua Portuguesa no 1º período, e a nota que os alunos atribuíram à composição no 1º
momento do nosso estudo. Desta forma foi possível obter três grupos equivalentes relativamente
a estas duas variações.
Deste modo, constituiu-se três grupos, em que, o (G1) grupo individual sem critérios
era composto por dezoito alunos, o (G2) grupo individual com critérios era composto por
dezoito alunos, e o (G3) grupo concertação com critérios era composto por dezassete alunos.
Instrumentos
Como instrumentos de recolha de dados do nosso estudo foram utilizadas, quatro
composições, elaboradas por alunos do 9º ano de escolaridade, que não participaram no estudo.
As composições por nós utilizadas, foram corrigidas e classificadas pelo professor de
Língua Portuguesa desses mesmos alunos. De forma aleatória seleccionámos quatro
composições de um conjunto de 26 composições, que obtiveram uma nota média entre os 50% e
os 60% numa escala de 0 a 100%. As quatro composições por nós utilizadas, foram distribuídas
de forma aleatória pelos quatro momentos de investigação: no pré-teste, nas duas situações
experimentais e no pós-teste.
Procedimentos
A nossa investigação decorreu assim em quatro momentos:
1º Momento
Este primeiro momento, teve como objectivo a formação dos três grupos para o 2º e 3º
momentos do nosso estudo. A partir das notas que os alunos, individualmente, atribuíram a
uma composição e das notas obtidas no 1º período na disciplina de Língua Portuguesa,
constituíram-se três grupos equivalentes.
2º e 3º Momentos
Os 2º e 3º momentos do nosso estudo corresponderam às duas sessões experimentais.
Estes dois momentos vão ser descritos em conjunto uma vez que foram idênticos em todas as
fases. Apenas a composição utilizada foi diferente em cada um dos dois momentos.
No início do 2º momento, foi pedido aos alunos do G1 (grupo individual sem critérios)
e do G2 (grupo individual com critérios), que se sentassem individualmente. Estes alunos
ficaram todos juntos numa sala de aula, mas com tarefas um pouco diferentes, consoante o
grupo a que pertenciam. Desta forma, aos alunos do (G1) distribuiu-se uma composição em que
a instrução foi a seguinte: “ Esta foi uma composição realizada por um aluno do 9º ano sobre a
909
solidariedade. Gostaria que a lesses, que a corrigisses e que lhe atribuísses uma nota de 0 a
100%”. Aos alunos do (G2) foi-lhes distribuída a mesma composição, só que a instrução dada
foi um pouco diferente. “ Esta foi uma composição realizada por um aluno do 9º ano sobre a
solidariedade. Gostaria que a lesses, que a corrigisses e que lhe atribuísses uma nota de 0 a
100%, tendo em conta os critérios que se seguem: Tema; Pontuação; Caligrafia; Ortografia;
Construção das Frases.
Nestes dois grupos (G1 e G2) os alunos trabalharam individualmente.
Os alunos do (G3) estiveram numa outra sala com o experimentador, com as secretárias
dispostas em círculo, afim de proporcionar uma mais fácil discussão e concertação sobre os
critérios de avaliação.
Com o (G3), disposto e círculo, deu-se início à fase de concertação sobre os critérios de
avaliação. Assim, antes de ser distribuída a composição para avaliação, num primeiro momento
deu-se aos alunos uma folha com os critérios de avaliação, que iriam ser utilizados na avaliação
da composição (estes critérios foram os mesmos que foram dados ao G2).
Em seguida pediu-se aos alunos para discutirem sobre aqueles critérios, o que é que eles
pensavam sobre cada um daqueles critérios, e como é que iriam fazer para os utilizar na
avaliação da composição.
Depois de todos os alunos chegarem a um acordo sobre a explicitação dos critérios a ser
utilizados na avaliação da composição, estes sugeriram que os critérios deveriam ter uma
ponderação. Deste modo, foi-lhes pedido para chegarem a um acordo sobre as ponderações a
atribuir a cada um dos critérios.
Em todos estes momentos utilizou-se sempre a concertação entre os alunos, pois era
fundamental um acordo o mais unânime possível entre todos. Após todos os alunos estarem de
acordo relativamente à explicitação e à ponderação a atribuir aos critérios, passou-se à avaliação
da composição. Durante a avaliação, sugeriu-se aos alunos que dessem a sua opinião e
comentassem o trabalho daquele aluno. Quando as opiniões eram divergentes, o experimentador
servia de moderador, com o objectivo de cada aluno poder dar a sua opinião e em seguida
chegassem a um acordo em torno da avaliação.
Depois de corrigida a composição, foi pedido aos alunos para que discutissem sobre a
nota a atribuir à composição, tendo por base as ponderações discutidas anteriormente para cada
um dos critérios. Foi-lhes pedido que apresentassem as suas razões, para que fundamentassem a
sua opinião, para que entre todos discutissem e atribuíssem uma nota final por unanimidade.
910
4º Momento:
Por último tivemos o 4º momento do estudo (Pós-teste). A todos os alunos, individualmente, foi
pedido que avaliassem e atribuíssem uma nota de 0a 100 a uma composição.
Apresentação de Resultados
Depois de garantidas as condições de homogeneidade dos grupos no início da investigação,
submetemos os resultados obtidos pelos três grupos a uma análise estatística, com o objectivo
de verificar se existiria uma distribuição normal dos três grupos em estudo. Os resultados
obtidos permitiram-nos concluir que, não existia uma distribuição normal no grupo
concertação
de
com critérios. Assim, tivemos que optar, pela utilização de um teste não
paramétrico, o teste Kruskal-Wallis, que é o teste utilizado quando as condições de aplicação do
teste Anova falham. Vamos neste caso comparar as medianas dos grupos.
Ao utilizarmos o teste Kruskal-Wallis quisemos verificar se a medianas dos três grupos
eram iguais. Os resultados obtidos permitiram-nos concluir que existiam diferenças
significativas, em termos estatísticos, entre as medianas dos três grupos (Kruskal-Wallis =
10.256 ; p = 0,006).
A nossa hipótese, referia que os alunos que efectuassem concertação sobre os critérios
de avaliação (G3), para a correcção da composição, atribuiriam notas mais similares entre si, do
que as notas dos alunos que não efectuassem concertação sobre esses mesmos critérios (G2).
Deste modo, procedemos a uma comparação das notas atribuídas na correcção da
composição, no último momento do nosso estudo, comparação essa entre o Grupo Individual
Com Critérios (G2), e o Grupo Concertação Com Critérios (G3), e verificar deste modo, qual a
influência dos dois momentos experimentais.
Os dados obtidos levaram-nos a concluir que existiam diferenças significativas em
termos estatísticos entre o grupo Individual Com Critérios (G2) e o grupo Concertação com
Critérios (G3), uma vez que, a estatística de teste (14.07) é superior ao valor crítico (9.588).
Assim, deste modo, podemos constatar que, a classificação mediana do grupo (G3) é
significativamente diferente da classificação mediana dos alunos pertencentes ao grupo (G2),
para um α ≤ 0.05, resultados que vão na direcção da hipótese por nós levantada, ou seja, há uma
maior concordância na atribuição das notas no grupo que esteve em concertação.
Podemos desta forma constatar, a influência dos dois momentos experimentais do nosso
estudo, onde se realizou a concertação entre avaliadores no grupo (G3), uma vez que, os
resultados obtidos são significativamente diferentes do grupo (G2), onde os alunos apenas
tiveram acesso aos critérios de avaliação, não efectuando concertação sobre os mesmos, e
trabalhando individualmente.
911
Tendo em conta o carácter comparativo do nosso estudo, pareceu-nos, também
pertinente, fazer uma comparação entre o Grupo Individual Sem Critérios (G1) e o Grupo
Concertação Com Critérios (G3), afim de averiguar a existência ou não de diferenças entre estes
dois grupos, relativamente à atenuação de divergências na avaliação de uma composição, no
último momento da nossa investigação.
Depois do tratamento estatístico podemos verificar que existiam diferenças
significativas entre o grupo Individual Sem Critérios (G1) e o grupo Concertação com Critérios
(G3), uma vez que, a estatística de teste (14.93) era superior ao valor crítico (9.588).
Assim, deste modo, podemos constatar que, a classificação mediana do grupo (G3) é
significativamente diferente da classificação mediana dos alunos pertencentes ao grupo (G1),
para um α ≤ 0.05.
É-nos possível, assim afirmar, a influência dos dois momentos experimentais, em que, o
(G3) efectuou concertação sobre os critérios de avaliação, para a avaliação da composição,
momentos estes, que proporcionaram aos avaliadores (alunos), uma menor dispersão das notas
atribuídas à composição no último momento, ou seja, verificou-se uma atenuação das
divergências inter-avaliadores.
Deste modo, e em concordância com os dados acima apresentados, podemos confirmar
e aceitar a hipótese por nós apresentada.
Discussão
De acordo com os nossos resultados verificámos que existem diferenças significativas
na avaliação de uma composição, quando os alunos efectuam concertação sobre os critérios da
mesma entre si, do que quando os alunos não efectuam essa mesma concertação de critérios. Ou
seja, existe uma maior discrepância de notas no (G2 ) e (G1), do que no (G3) onde se deu a
concertação da avaliação.
Ora, de acordo com Pais e Monteiro (2002), não basta aos alunos conhecer os critérios
de avaliação que o professor quer colocar em prática (G2), é necessário discuti-los e explicitálos (G3). Pois só desta forma, é que se torna possível que os objectivos e os critérios de
avaliação, sejam bem entendidos e se tornem claros para os intervenientes.
Partilhamos a opinião de Pinto (1994, p.97), quando refere que “...o trabalho de
explicitação sobre os critérios de sucesso nas tarefas, não só é importante para clarificar as
próprias tarefas, como sustenta a reflexão sobre o próprio “saber” que se espera, tornando-o
mais claro e consistente para o aluno”. Deste modo, a simples explicitação de critérios, sobre os
quais os alunos vão ser avaliados, não é suficiente. É necessário aferir como os alunos
912
interpretam esses mesmos critérios, podendo os professores desenvolver estratégias facilitadoras
para essa mesma apropriação dos critérios por parte dos alunos.
Os nossos resultados suportam estes pressupostos ao mostrarem que existe maior consenso no
grupo que realizou concertação Isto significa dizer que a explicitação e a discussão dos critérios
poderão ter levado a uma maior convergência nas notas atribuídas por estes alunos a uma
mesma produção escolar. É de salientar que neste grupo as divergências inter-avaliadores são
muito menores do que em qualquer dos outros grupos. Embora haja divergências, estas não são
tão acentuadas como no Grupo Individual Sem Critérios e o Grupo Individual Com Critérios.
Em suma, parece-nos de vital importância que, para se conseguir mais e melhor sucesso
escolar, devemos ter em conta, por um lado a explicitação dos critérios de avaliação e por outro
as estratégias que levam os alunos a apropriarem-se desses mesmos critérios, e tornando claros
os parâmetros que orientam a avaliação. A partilha de experiências em situações de avaliação,
permite aos aluno, uma maior autonomia na organização do seu trabalho e na construção das
aprendizagens, assim como permite uma melhor compreensão do erro, porque o facto de os
alunos chegarem a um consenso entre estes, permite-lhes perceber onde, como e porque se
errou. Este trabalho metacognitivo irá facilitar a aprendizagem. Durante o processo de
concertação desenvolvem-se mecanismos de auto-correcção, bem como, mecanismos de entre
ajuda e partilha de saberes, que em nossa opinião, poderão ter um efeito positivo na
aprendizagem
Contudo, para que esta forma de trabalhar se torne possível, é necessário que o
professor, recorra a uma pedagogia activa, cooperativa e contextualizada, pautada por uma
avaliação formativa e formadora.
Poderemos ainda acrescentar que, os alunos ao passarem pelo papel de avaliadores
passam a ter uma visão mais concreta, dos procedimentos que podem ser utilizados durante a
avaliação de um trabalho escolar. Aliás, o estar no papel de professor foi um dos aspectos mais
positivos apontados pelos alunos, que fizeram parte desta investigação. Segundo estes alunos,
este trabalho permitiu-lhes reconhecer o trabalho do professor: “ Aprendemos como é difícil ser
professor”; “Entendi que os professores têm muito trabalho a corrigir os testes”; “Foi positivo,
porque coloca-nos no lugar de professores e descobrimos a sua dificuldade muitas vezes em
perceber a caligrafia e outras coisas mais”.
Com este estudo, confirma-se a importância da concertação entre avaliadores como
forma de moderação das divergências na avaliação de uma composição.
913
Referências Bibliográficas
Barbosa, J. & Alaiz, V. (1994). Explicitação de Critérios – exigência fundamental de
uma avaliação ao serviço da aprendizagem. I.I.E. (ed.). Pensar Avaliação, Melhorar a
Aprendizagem. Lisboa: I.I.E.
Black, P. e William, D.(2001,August). Theory and Pratice in the Development of
Formative Assessement. Paper presented at the King’s College, University of London, London.
Pais, A. & Monteiro, M. (2002). A avaliação: uma prática diária. Lisboa: Editorial
Presença.
Pinto, J. (1994). A avaliação como estratégia de formação. In R. d’Espiney & R.
Canário (Orgs.), Uma escola em Mudança com a comunidade – Projecto ECO, 1986-1992.
Experiências e Reflexões. Lisboa: I.I.E.
Pinto, J. (2002). A Avaliação Formal no 1º Ciclo do Ensino Básico: Uma Construção
Social. (Tese de Doutoramento). Braga: Universidade do Minho.
914