Luís António Pissarra de Matos Agonia Pereira Tese de Doutoramento em Ciências da Educação Especialidade de Tecnologias, Redes e Multimédia na Educação e Formação Contribuições para a Formulação de uma Metodologia de Ensino e Avaliação baseada na Análise Estatística de Textos em Português Julho, 2013 Tese apresentada para cumprimento dos requisitos necessários à obtenção do
grau de Doutor em Ciências da Educação, Especialidade de Tecnologias, Rede e
Multimédia na Educação e Formação, realizada sob a orientação científica dos
Professor Doutor João Nogueira
Professor Doutor Valter Martins Vairinhos
ii
Aos meus pais
iii
AGRADECIMENTOS
Ao meu Orientador, Professor Doutor João Nogueira, Professor desta Faculdade,
pela orientação prestada e empenho com que supervisionou o desenvolvimento deste
trabalho.
Ao meu Coorientador, Professor Doutor Valter Martins Vairinhos, expresso o meu
profundo reconhecimento por toda a sua dedicação, empenho e motivação. Os seus
conselhos e encorajamentos foram uma constante: a sua orientação foi fundamental para a
concretização deste trabalho.
Ao Ministério da Educação, ter aceite e autorizado o pedido de consulta e acesso
aos diferentes arquivos das Escolas Secundárias Nacionais, às Provas de Exames Nacionais
realizadas por estudantes do Ensino Secundário, com a respetiva garantia do anonimato de
todos os envolvidos.
Aos Senhores Diretores José António Sousa, Pedro Folgado e Manuela Dias,
respetivamente das Escolas Secundárias D. Dinis, Lisboa; Damião de Gois, Alenquer; e
Portela, Sacavém, por terem permitido a consulta e fotocópia das Provas dos Exames
Nacionais efetuados pelos seus estudantes, em arquivo, respeitando o anonimato de todos
os envolvidos, tanto dos Professores corretores como dos estudantes.
À Professora Doutora Florinda Matos pela cedência dos textos de resposta a
questões de gestão - que se revelaram extremamente úteis.
Aos meus colegas e amigos o interesse com que sempre me acompanharam,
nomeadamente às irmãs Hermínia Ribeiro, pelo primeiro contato estabelecido com a
Escola Secundária da Portela, Sacavém, e Isabel Ribeiro, pela inestimável colaboração que
prestou na correção de Provas de Exame Nacionais de Português assim como no primeiro
contacto estabelecido com a Escola Secundária Damião de Gois, Alenquer.
À Rute Antunes pela paciência e por todo o trabalho que teve na transcrição dos
textos.
Finalmente, à minha família a satisfação com que acompanharam o meu entusiasmo
pelo trabalho desta Tese.
iv
CONTRIBUIÇÕES PARA A FORMULAÇÃO DE UMA METODOLOGIA
DE ENSINO E AVALIAÇÃO BASEADA NA ANÁLISE ESTATÍSTICA DE
TEXTOS EM PORTUGUÊS
por
LUÍS ANTÓNIO PISSARRA DE MATOS AGONIA PEREIRA
v
RESUMO
PALAVRAS-CHAVE: Língua Portuguesa; Avaliação automática; Análise da Semântica
Latente; Biplots.
Esta investigação procurou identificar e avaliar problemas associados ao
desenvolvimento de instrumentos de ensino / aprendizagem, a serem utilizados por
professores e estudantes, com base na análise estatística de textos, com especial relevo
dado à monitorização, quer pelos professores quer pelos estudantes, dos processos de
aquisição de conhecimentos e de conteúdos pedagógicos nos quais o português ocupa
papel central.
Apesar de existirem importantes projetos de investigação ligados à língua
portuguesa, por exemplo a investigação ligada à atividade do Instituto de Linguística
Teórica e Computacional, ILTEC e do NLX-Group (Natural Language and Speech Group
Da Faculdade de Ciências, Universidade de Lisboa) constata-se que na área do objeto de
estudo desta investigação, poucos trabalhos têm sido publicados.
No início desta investigação demos particular atenção aos trabalhos do grupo de
Landauer e sua equipa, na Universidade do Colorado, EUA, que, tendo por base a
metodologia da Análise da Semântica Latente (ASL), visam a avaliação automática de
conhecimentos a partir de textos escritos em resposta a questões abertas. Apesar da ASL
ser uma metodologia interessante, constatámos que a sua base computacional (a
decomposição em valores e vetores singulares das matrizes de frequências de palavras em
textos) coincide com a dos biplots de Gabriel e Galindo, pelo que usámos os biplots como
instrumentos de visualização ao construir um sistema protótipo que, de uma forma simples
e flexível, permite, em contexto de sala de aula, e tendo por base um processo de avaliação
contínua, a avaliação dos estudantes por parte do Professor.
Como principais resultados desta investigação, citam-se o desenvolvimento de um
protótipo experimental que incorpora um sistema de mineração de textos de resposta a
questões abertas em apoio da atividade dos professores na respetiva atividade letiva, o
treino e teste de sistemas automáticos de classificação de textos (SAAT) assentes no
conceito de ASL, dotados de uma interface gráfica assente nos biplots de Galindo e ainda
os resultados das análises dos dados reais recolhidos (textos de manuais usados no ensino e
textos de respostas a questões abertas incluídas em exames nacionais e em testes de
avaliação contínua num politécnico) – realizadas pelo protótipo – que permitiram concluir,
experimentalmente, pela razoabilidade de criar instrumentos de software com as
características desejadas, embora separando os problemas de classificação automática com
questões incluídas em exames sumativos finais das questões ligadas à formação contínua.
vi
ABSTRACT
KEYWORDS: Portuguese Language; automatic assessment; Latent Semantic Analysis;
Biplots.
This research aims to identify and evaluate problems associated with the
development of teaching and learning instruments, to be used by teachers and students,
based on statistical analysis of texts, with special emphasis on monitoring, both by teachers
and students, the acquisition of knowledge and pedagogical content, in which the
Portuguese occupies the central role.
Although there are important research projects related to the Portuguese language,
for example the research linked to the activity of the Institute of Theoretical and
Computational Linguistics, ILTEC, and NXL-Group (Natural Language and Speech Group
four Faculdade de Ciências, Lisbon University, we observed that on the object of study of
this research, few works have been published.
At the beginning of this research we have given particular attention to research
work of Landauer and its associates at the University of Colorado, USA that based on the
methodology of Latent Semantic Analysis (LSA), the automatic assessment of knowledge.
Despite LSA being an interesting methodology, we found that LSA and the concept of
biplot from Gabriel and Galindo are based on the same computational techniques: singular
value decomposition of frequency matrices. That is the reason why we used biplots as
visualization instrument in the construction of a system that, in a simple and flexible way,
allows teachers, in the context of the classroom and of a continuous assessment process, to
evaluate students.
As the main results of this investigation, we mention the development of an
experimental prototype system that incorporates text mining of texts resulting from
response to open questions, in support to teaching activities, the training and test of
systems for automatic text classification based on the concept of LSA, equipped with a
graphical user interface based on Galindo biplots and, also, the results of the analysis of
real data collected (text of books used in teaching and text answers to open questions
included in national examinations and texts resulting from continuous assessment in a
polytechnic) - performed by the prototype - which allowed us to conclude, experimentally,
for the reasonableness of creating software instruments with the intended characteristics,
though separating sharply the problems of automatic classification of high stakes tests
from issues related to continuous assessment.
vii
ÍNDICE
Introdução.............................................................................................................................. 1
Capítulo I: Enquadramento Teórico / Estado de Arte. .......................................................... 6
1.1.
Introdução. ..................................................................................................... 6
1.2.
Importância, Formas de Avaliação e Monitorização de Conhecimentos. ..... 8
1.3.
Teoria Clássica da Avaliação e o TRI. O Modelo de RASCH. ................... 13
1.4.
Avaliação Automática de Conhecimentos. .................................................. 16
1.4.1.
Introdução. ................................................................................................... 16
1.4.2.
Avaliação Baseada em Itens de Resposta Aberta. ....................................... 17
1.4.3.
Sistemas de Avaliação Automática de Textos (SAAT’s). ........................... 19
1.4.4.
Classificação baseada na Análise Semântica Latente.................................. 24
1.4.4.1. Introdução. .................................................................................................... 24
1.4.4.2. A Análise da Semântica Latente como Modelo de Aquisição do Significado
das Palavras pelas Crianças. ........................................................................ 25
1.4.4.3. ASL como Instrumento de Avaliação Automática. ...................................... 29
1.4.5.
Validade e Fiabilidade dos Programas de Avaliação Automática de Textos.
..................................................................................................................... 37
1.4.6.
Experiência Acumulada com a Avaliação Automática. Tendências. .......... 43
1.5.
EDM - Educational Data Mining................................................................. 49
Capítulo II: Metodologia da Investigação. .......................................................................... 55
2.1.
Introdução. ................................................................................................... 55
2.2.
Formulação do Modelo. ............................................................................... 56
2.2.1. Estrutura. .......................................................................................................... 56
2.2.2. Obtenção da Representação Vetorial dos Textos (Tabelas Léxicas). .............. 61
2.2.3. Construção e Interpretação de Espaços Semânticos. Biplots. ......................... 65
2.2.4. Métodos de Avaliação de Conhecimentos baseados em ASL/Bipolts. ........... 74
viii
2.2.4.1. Método 1. ..................................................................................................... 75
2.2.4.2. Método 2. ..................................................................................................... 78
2.3.
Estruturação da Amostra. ............................................................................ 80
2.4.
Plano de Recolha de Dados. ........................................................................ 81
2.5.
Metodologia Estatística de Tratamento de Dados. ...................................... 83
Capítulo III: Recolha e Análise de Dados. .......................................................................... 85
3.1.
Introdução. ................................................................................................... 85
3.2.
Recolha e Registo de Dados. ....................................................................... 87
3.3.
Estrutura da Base de Dados Textual (BDT). ............................................... 88
3.4.
Criação de Instrumentos de Análise Estatística de Textos. ......................... 91
3.5.
Resumo Estatístico das Amostras. ............................................................... 93
3.5.1.
Dados EX-MIN – Exames do Ministério. ................................................... 93
3.5.2.
Dados GESTÃO. ....................................................................................... 101
3.5.3.
Dados DISCIPLINA. ................................................................................. 103
3.6.
Comparação de Textos. Análise Descritiva. .............................................. 104
3.7.
Comparação de Textos usando Biplots. .................................................... 110
3.8.
Categorização Automática de Textos em Apoio da Avaliação Formativa. 117
3.8.1.
Introdução. ................................................................................................. 117
3.8.2.
Lógica do Uso das Análises e Cluster. ...................................................... 118
3.8.3.
Experimentação com os Dados GEST....................................................... 119
3.8.4.
Experimentação com os Dados do EX-MIN. ............................................ 122
3.9.
Avaliação Automática de textos usando o Método LSA/Biplots. ............. 124
3.9.1.
Introdução. ................................................................................................. 124
3.9.2.
Construção do Espaço Semântico (ES). .................................................... 126
3.9.3.
Dados EX-MIN. Experiência nº 1. ............................................................ 130
3.9.4.
Dados EX-MIN. Experiência nº 2. ............................................................ 136
ix
3.9.5.
Dados de GESTÃO. Experiência nº 1. ...................................................... 144
3.9.6.
Estudo Comparativo das Classificações dos Professores. ......................... 153
Conclusão .......................................................................................................................... 160
Referências Bibliográficas ................................................................................................ 164
Índice das Figuras.............................................................................................................. 174
Índice das Tabelas ............................................................................................................. 179
ANEXO A ......................................................................................................................... 181
x
LISTA DE ABREVIATURAS
AA
Aprendizagem Auto-regulada
ACCESS;
Sistema de Gestão de Base de Dados da Microsoft, inserido no
Microsoft Access
pacote Microsoft Office Professional
AES
Automatic Essay Scoring
ALGLIB
Numerical Analysis library (http://www.alglib.net/)
APA
American Psychological Association
ASL
Análise da Semântica Latente
BDT
Base de Dados Textual
BETSY
Bayesian Essay Teste Scoring System
CRI
Constructed Response Item
ECD
Evidence Centered Design
EDM
Educational Data Mining
ES
Espaço(s) Semântico(s)
ETS
Educational Testing Service
EXCEL;
Programa de Folha de Cálculo da Microsoft, incluído no pacote
Microsoft Excel
Microsoft Office
GMAC
Graduate Management Admission Council
GMAT
Graduate Management Admission Test
GRE
Graduate Record Examination
IEA
Intelligente Essay Assessor
xi
ILTEC
Instituto de Linguística Teórica e Computacional
IRT
Item Response Theory
LAD
Language Acquisition Device
LSA
Latent Semantic Analysis
MDE
Mineração de Dados Educacionais
MDS
Multi Dimensional Scaling
NLX-Group
Natural Language and Speech Group
NLP
Natural Language Processing
OCR
Optical Character Recognition
PAET
Programa de Análise Estatística de Textos
PEG
Project Essay Granding
SAAT
Sistema Automático de Avaliação de Textos
SDL
Software Development Lohninger
SPSS
Statistical Package for the Social Sciences
SVD
Singular Value Decomposition
TCT
Teoria Clássica dos Testes
TOEFL
Test Of English as a Foreign Language
TRI
Teoria da Resposta ao Item
WAD
Word Acquisition Device
xii
Introdução
Neste trabalho investiga-se a possibilidade da utilização das técnicas de análise
estatística de textos (text-mining) em tarefas relacionadas com a avaliação, a monitorização
do processo de aquisição de conhecimentos e no apoio ao trabalho do professor e do
estudante.
O tema que mais nos motiva é, de um modo geral, a problemática da avaliação e o
da construção de instrumentos de apoio ao professor nas suas tarefas de avaliação. De um
modo mais específico, a motivação imediata desta tese teve a ver com a problemática da
avaliação de respostas a questões abertas – sob a forma de textos elaborados pelos
estudantes e as questões de feedback a estudantes em sistema de auto ensino. Trata-se de
analisar e, eventualmente, construir instrumentos capazes de lidar com grandes quantidades
de texto envolvidas nos manuais de estudo e nas respostas dos estudantes a questões que
exigem como resposta destes a elaboração de textos.
É um facto sobejamente conhecido por todos os professores que, de um modo geral,
estes são deixados a si próprios – isto é, não têm, em geral, qualquer apoio metodológico
ou outro – quando têm de elaborar testes de avaliação de conhecimentos e competências
nos diversos momentos do ciclo letivo anual e, depois de aplicados esses testes, avaliar as
respostas e publicar os resultados dessa avaliação. É o que sucede com particular
incidência, naquelas disciplinas em que o texto escrito em linguagem natural tem
importância preponderante e em que a correção e classificação das respostas a questões
abertas consomem um volume enorme de trabalho sem que isso garanta a homogeneidade
de critério e ausência de ambiguidade na avaliação dessas respostas.
Numa altura em que quase todos os envolvidos no processo de ensino –
aprendizagem têm acesso a processamento eletrónico de textos, em que as plataformas de
ensino, nomeadamente em software Open Source como o Moodle, proliferam a todos os
níveis e em que vão estando disponíveis poderosas metodologias de tratamento estatístico
de textos, justifica-se investigar a possibilidade de identificar, avaliar ou mesmo construir
alguns instrumentos que apoiem os professores nas tarefas de avaliação de respostas a
questões abertas e na preparação de testes em que os textos tenham papel predominante.
1 Esses mesmos instrumentos estatísticos podem ter um papel fundamental no
processo de monitorização pelo Professor da aquisição de conhecimentos pelos estudantes
como dos próprios estudantes envolvidos em processos autónomos de aprendizagem,
possibilitando o fornecimento, em tempo oportuno, de feedback baseado em informação
objetiva que os motive e permita o autocontrolo e a auto-motivação para aprender mais e
melhor.
Nesta perspetiva, procura-se neste trabalho avaliar – do ponto de vista do seu
potencial para apoio do trabalho dos professores e estudantes – certas técnicas e
metodologias gerais de análise estatística de textos – como a Classificação Automática, o
Multi Dimensional Scaling (MDS) e técnicas mais especializadas como a Latent Semantic
Analisis (LSA). Esta avaliação assenta na elaboração de protótipos que permitam a sua
utilização experimental.
Que instrumentos podem ser desenvolvidos e com que metodologias para que, sem
envolver mais do que os recursos habituais da parte dos intervenientes (informação textual,
processador de texto, folha de cálculo, entre outros), estes possam utilizá-los no seu dia-adia?
A abordagem básica é a de procurar dotar os intervenientes (professores e
estudantes) de instrumentos que gerem informação útil ao processo de ensino –
aprendizagem, mais do que de programas de avaliação automática de conhecimentos,
sendo os objetivos gerais desta tese os seguintes:
1. Identificar e avaliar técnicas de análise estatística de textos que possam ser
usados na construção de instrumentos de apoio a professores e estudantes como
instrumentos de monitorização dos processos de aquisição de conhecimentos e
avaliação;
2. Avaliar a possibilidade de usar a técnica de LSA em tarefas de apoio à
avaliação de conhecimentos com base em textos de resposta a questões abertas;
3. Elaboração de um protótipo que permita experimentar técnicas de análise
estatística de textos na perspetiva do apoio ao professor e a estudantes
identificando problemas a ter em conta em futuros desenvolvimentos.
2 As questões para as quais procurámos respostas ao longo desta investigação são as
seguintes:
Questão I –
Qual o estado da investigação relativo à avaliação automática de
conhecimentos com base na análise de textos de resposta a questões
abertas?
Questão II –
Quais os problemas que se põem quando se procura construir instrumentos
baseados em análise estatística de textos e outras técnicas de mineração de
textos que permitam apoiar os professores no seu esforço para reduzir os
subjetivismos na análise dessas respostas dos estudantes, permitindo, sem
aumento brutal da sobrecarga de trabalho, generalizar o uso de questões de
resposta aberta?
Questão III – Que impacto podem as técnicas de mineração de textos ter no modo de
abordar o processo ensino-aprendizagem e qual a possibilidade, a curto
prazo, de construir sistemas baratos de apoio a professores e estudantes
usando essas tecnologias?
Este trabalho é uma tentativa de dar resposta a cada uma destas questões.
Especificamente:
No Capítulo I procura-se responder à Questão I. Neste capítulo visa-se fazer o
ponto de situação relativa à investigação da questão da avaliação automática de
conhecimentos com base na análise de textos de resposta a questões abertas.
Surpreendentemente, constata-se que em Portugal não se deteta na literatura ou nos
organismos oficiais iniciativas nesta direção, quando a investigação parece apontar para o
facto de, neste momento, ser difícil avaliar as diferenças entre os comportamentos
estatísticos das classificações atribuídos pelos sistemas automáticos mais importantes e as
atribuídas por professores. Sendo essa questão considerada resolvida, nos Estados Unidos,
o próximo passo parece ser o de realizar importantes avaliações sumativas a nível nacional
usando sistemas que têm vindo a ser aperfeiçoados ao longo dos últimos 20 anos, sob a
liderança de organizações como o Educational Testing Service (ETS).
Nos Capítulos I e II procura-se dar resposta à Questão II.
Especificamente, no Capítulo II procura-se estabelecer a metodologia a usar na
construção de um modelo que procure responder a esta questão, dando-se especial atenção
3 às características de um sistema para realizar avaliações – sobretudo formativas – que
possa apoiar a avaliação de textos produzidos por estudantes em resposta a questões
abertas, usando principalmente a técnica da Análise da Semântica Latente (ASL) –
designação de agora em diante usada para designar a LSA. Tendo-se reconhecido que
subjacente a esta metodologia está a mesma técnica computacional em que se baseiam
representações gráficas de dados multivariados – a Singular Value Decomposition (SVD) –
a estrutura do modelo a desenvolver explora este facto e prevê, explicitamente, a produção
de gráficos (biplots, árvores de classificação) que possam ser usados na comparação dos
textos produzidos pelos diversos estudantes de uma turma com melhoria dos critérios de
homogeneidade e redução de subjetividade do Professor.
É ainda neste capítulo – central de toda a tese – que se apresenta o procedimento
usado na estruturação de uma amostra que permite validar com dados reais as principais
metodologias.
Como condição fundamental para a possível utilização prática das técnicas e
instrumentos como os que neste trabalho se preconizam, assume-se que os estudantes
usam, na produção dos respetivos textos, meios informáticos (computadores e
processadores de texto). A tecnologia do reconhecimento ótico de caracteres, OCR, não
atingiu ainda o grau de perfeição que permita encarar a utilização de textos manuscritos
dos estudantes neste tipo de processamentos.
Infelizmente residiu aqui uma das principais dificuldades deste projeto: o facto de o
Ministério da Educação não guardar de um modo centralizado as provas classificadas e o
facto de todos os textos usados serem textos manuscritos que tiveram previamente de ser
digitalizados sem qualquer apoio económico para a realização dessa tarefa.
Ainda no contexto da resposta à Questão II, no Capítulo III descreve-se a estrutura
de uma base de dados a usar para registar os textos das respostas dos estudantes a questões
de resposta aberta, descrevendo-se os instrumentos usados na recolha e o programa usado
para o efeito. São ainda apresentados os resultados das análises realizadas e a respetiva
interpretação. Uma das conclusões a que se chegou foi a de que, embora existam
correlações significativas entre as classificações atribuídas pelos professores e as atribuídas
pelo sistema implementado, essas correlações não atingem os níveis relatados em estudos
publicados, por exemplo, pelo ETS. Atribui-se isto - para lá do facto de os dados usados
não serem suficientemente volumosos para esse efeito – ao não ter sido possível dotar o
4 protótipo construído de todos os componentes necessários à cobertura de questões
linguísticas.
Nos Capítulos II e III procura-se responder à Questão III, tendo-se concluído,
tanto através do estudo da literatura como através da experimentação possibilitada pelo
protótipo de sistema por nós construído, que as técnicas de mineração de textos (data
mining), em particular, e de exploração de dados, em geral (através do conceito
Educational Data Mining (EDM)) vão ter, como suspeitávamos, um impacto enorme na
completa revisão, em curso, do atual paradigma do processo ensino – aprendizagem. Em
particular, dado o uso combinado de sensores para aspetos físicos (biometria) com a
exploração estatística sistemática dos dados da interação estudantes-sistemas, combinados
com técnicas psicométricas (Teoria da Resposta ao Item (TRI), em particular), estão
criadas as condições que vão permitir, a breve prazo, criar sistemas baseados no conceito
designado por Evidence Centered Design (ECD).
O protótipo por nós criado (e o próprio processo de criação) para apoiar as
investigações descritas – cujo manual do utilizador constitui o Anexo A desta tese –
permitiu-nos uma perceção prática do tipo de problemas a resolver em futuras
investigações.
5 Capítulo I: Enquadramento Teórico / Estado de Arte.
1.1.
Introdução.
Neste capítulo procura-se sintetizar o significado e evolução histórica de alguns dos
conceitos fundamentais relacionados com a nossa própria investigação – nomeadamente a
avaliação de conhecimentos no âmbito da atividade letiva do professor e do estudante,
procurando-se caracterizar o contexto das atuais potencialidades criadas pela revolução em
curso da ciência dos dados e das disciplinas com ela relacionadas: data mining, text
mining, analytics, de agora em diante designadas em português por mineração de dados,
mineração de textos e analítica.
Sendo um dos objetivos deste trabalho investigar a possibilidade de criar
instrumentos informáticos que facilitem o trabalho dos professores e dos estudantes,
principais atores envolvidos no processo de ensino-aprendizagem, procura-se neste
capítulo caraterizar algumas dessas possibilidades enquadrando-as nos contextos históricos
e teóricos adequados.
Face à disponibilidade objetiva de instrumentos informáticos (hardware e software)
a atividade de avaliação, a que dedicamos a maior parte do presente capítulo, está a sofrer
profundas transformações alimentadas por novos instrumentos teóricos e metodológicos.
Estas transformações implicam a reconceptualização de alguns problemas de
ensino-aprendizagem – face a novas possibilidades de análise de dados como as fornecidas
pela mineração de textos e de novos instrumentos metodológicos como sejam sistemas de
mineração de dados e aprendizagem automática (learning machines).
A título de exemplo, a Teoria da Resposta ao Item (TRI) modelo teórico em que
assenta a elaboração de testes com caraterísticas psicométricas controladas (fiabilidade,
validade e grau de dificuldade) é atualmente objeto de intensa atividade de investigação
desencadeada pelos desafios resultantes das possibilidades criados por essas novas
tecnologias (Rauch & Marting, 2010).
O conceito de EDM (Mineração de Dados Educacionais) é a manifestação no
domínio das Ciências da Educação de uma nova realidade resultante da disponibilidade de
grandes massas de dados em todos os domínios (em particular na atividade da Educação),
6 que desafiam as capacidades de armazenamento e análise dos computadores disponíveis e
dos métodos e metodologias existentes.
Até à década de 70 do século passado, a informação era restrita a certas pessoas, em
determinados lugares e num formato específico. A questão era então a escassez de
informação e a dificuldade do respetivo acesso. Hoje a informação está acessível a
qualquer pessoa que tenha um computador com acesso à Internet.
Face ao colossal volume de informação disponível (Manyika, Chui, Brown,
Bughin, Dobbs, Roxburgh, & Byers, 2011) torna-se absolutamente essencial usar
tecnologia que consiga obter informação correta, isto é, contextualizada, no espaço de
tempo certo. Ranadivé e Maney (2011) conseguem descrever perfeitamente esta ideia no
seu livro “The Two-Second Advantage”, mostrando que uma vantagem de apenas dois
segundos pode fazer toda a diferença no mundo atual em que vivemos, graças aos avanços
da ciência nos campos da pesquisa neurológica e das Tecnologias da Informação.
Uma das palavras-chave do atual estado do mundo – big data, ver por exemplo
Executive Office of the President (2010) – tem a ver com a superabundância de dados
existentes e com a tendência exponencial para o seu aumento: organizações
(nomeadamente as ligadas ao ensino), empresas, famílias e indivíduos acumulam, em
suportes magnéticos, tanto os dados das observações científicas como os dados do seu
trabalho normal e das suas vidas, num movimento que tende a refletir nos computadores o
estado do mundo e das sociedades em cada instante (Manyika et al., 2011). Este facto tem
como consequência que não só praticamente todas as atividades humanas estejam
dependentes de dados existentes em suporte magnético como, do ponto de vista da
investigação científica, uma parte cada vez maior dessa investigação passa a ser realizada
sobre a representação do mundo já existente nos computadores e em contínua atualização
ao ritmo da vida. Veja-se o exemplo do Google Earth1.
Como consequência, têm assumido importância crescente as atividades ligadas à
exploração científica desses dados em benefício de quase todas as disciplinas, desde as
Ciências Humanas, à Física e à Biologia.
Em particular, nas Ciências da Educação, é de origem recente o conceito de
Mineração de Dados Educacionais - Exploração de Grandes Massas de Dados em Ciências
1
Google Earth realiza a cartografia do planeta, juntando imagens obtidas de várias fonte sobre um
globo 3D. 7 da Educação (Romero, Ventura, Pechenizkiy, & Baker, 2011). Trata-se de utilizar também,
no domínio das Ciências da Educação, conceitos que têm feito o seu caminho, com
resultados assinaláveis, noutras áreas no sentido de desenvolver técnicas que permitam
explorar a estrutura específica dos dados existentes sobre suportes magnéticos nos diversos
domínios e vertentes das Ciências da Educação.
Quais as consequências desse facto nas técnicas de ensino, no processo de ensinoaprendizagem, no funcionamento das escolas, na estruturação dos programas e seus
conteúdos, nas relações entre professores e estudantes, nos métodos de avaliação?
Não se trata apenas de superabundância de dados, mas também do facto do acesso
aos mesmos ser altamente facilitado através da Internet – no sentido de que está,
supostamente, disponível para todos e imediatamente acessível. Professores e estudantes
têm acesso, em princípio, à mesma informação, ao mesmo tempo, no mesmo local e nas
mesmas condições. Quais as consequências deste facto para as relações professorestudante no processo de aprendizagem e para a problemática da avaliação de
conhecimentos?
Quando se diz “acessível” não estamos apenas a dar conta da possibilidade de
consultar, estudar, ler esses dados, mas da possibilidade de os processar usando software
sob o controlo do utilizador.
Entre outras consequências, o que é ensinado e o modo como é ensinado pode ficar
sob um escrutínio potencialmente muito mais rigoroso e intenso por parte da sociedade –
instituições, pais, estudantes, escola, tribunais; o professor deixa de ser a fonte principal do
conhecimento e os seus atos e decisões avaliados objetivamente.
Os intervenientes no processo de ensino-aprendizagem continuam a ser os mesmos:
sociedade, escola, professor, estudante; contudo a realidade descrita tem profundas
consequências no desempenho dos respetivos papéis e seu conteúdo.
1.2.
Importância, Formas de Avaliação e Monitorização de Conhecimentos.
A importância da avaliação e certificação de conhecimentos e competências bem
como os seus objetivos e condições de realização garante que a respetiva validade e
fiabilidade constituíam já uma preocupação importante da China de há 3000 anos, como se
pode ver em Wainer, H., 1990. Este autor citando a obra do historiador chinês Ssu-yu Têng
8 (1943), afirma que já em 1115 a. C. existia na China um sistema de exames a que se
submetia os funcionários públicos antes de serem graduados.
Na obra de Têng (1943) pode, inclusivamente, ler-se que a primeira referência na
Europa ao Exame Imperial deve-se ao missionário português Gaspar da Cruz (Tratado em
que se contam muito por extenso as Cousas da China com suas particularidades e assim
do Reino de Ormuz, 1569). Este Exame Imperial veio influenciar decisivamente o sistema
de avaliação dos funcionários públicos ingleses.
Se é verdade que os estudantes têm, com a tecnologia atual, potencialmente, acesso
às mesmas fontes, conteúdos e instrumentos de análise que os professores, tal não significa
que a aquisição de conhecimentos e competências por parte dos estudantes seja, por esse
facto, um dado adquirido.
Pelo contrário, a necessidade de avaliação de conhecimentos e certificação de
competências têm uma importância crescente nas sociedades complexas em que as
questões de qualidade – impostas pela legislação e pela necessidade de fiabilidade e
segurança têm importância cada vez maior.
Por definição, o ensino é um processo que tenta promover o desenvolvimento dos
estudantes, sendo a aprendizagem dos estudantes o objetivo dos professores e das escolas.
A sociedade tende a atribuir a tarefa de avaliar o desempenho, o desenvolvimento escolar e
o potencial dos estudantes em grande parte às escolas e aos professores, responsabilizandoos pela aprendizagem daqueles. As escolas acabam por ser sistemas humanos influenciados
quer pelas pessoas que nelas trabalham, de forma interdependente, como pela comunidade
e sociedade onde estão integradas.
A sociedade não pode correr o risco de atribuir responsabilidades a incompetentes
nem de confiar a pessoas impreparadas o desempenho de funções técnicas e sociais
importantes.
Diversos estudos concluíram que o comportamento dos professores tem uma
importante influência sobre a vontade que os estudantes demonstram em cooperar e
persistir nas tarefas de aprendizagem (Dolezal, Welsh, Pressley, & Vincent, 2003; Pintrich
& Schunk, 2002). O papel do professor na orientação e no sucesso dos estudantes é muito
importante. O modo como o estudante é motivado na sala de aula para que atinja o
comportamento e a aprendizagem desejada são fatores que não podem ser descuidados. Ou
seja, a atribuição de boas notas, elogios e privilégios nas aulas são exemplos de incentivos
9 e recompensas que os professores podem utilizar de modo a criarem, nos estudantes,
hábitos de estudo e fomentarem comportamentos desejados. Da mesma forma, as más
notas, os castigos e a perda de privilégios são usados como forma de desencorajar ações e
comportamentos indesejados. O professor aplica a teoria do reforço, com recurso à
utilização de reforços positivos e negativos. O professor deverá ser competente e eficaz na
forma como identifica os comportamentos desejados e os reforços que são adequados e
utiliza estes reforços de forma a fortalecer e encorajar os comportamentos desejados.
Do mesmo modo, o Professor, no decurso do ano letivo necessita de controlar o
processo de aquisição de conhecimentos e competências dos seus estudantes no sentido de
realizar as correções necessárias e fornecer aos estudantes elementos de feedback que
permitem a autocorreção ou funcionem como elementos de motivação.
É consensualmente aceite que os índices da motivação nos estudantes são
alteráveis, sendo um dos papeis mais importantes que o professor tem no contexto do
ensino-aprendizagem, devendo estar atento àqueles procurando potenciá-los.
Efetivamente, as escolhas dos professores, em relação às estratégias de motivação
adotadas influenciam a manutenção do envolvimento dos estudantes na aprendizagem. Há
bastante tempo atrás, John Dewey (1916), observou que as crianças aprendiam quando
participavam em contextos sociais. Também Jerome Bruner (1996) e Vygotsky (1978,
1994) defenderam que as pessoas estabelecem significados a partir das relações e da
participação em cada cultura. De facto, a vida numa sala de aula pode, de alguma forma,
espelhar a vida fora da escola. Assim, também os grupos e as comunidades de
aprendizagem são representativas das necessidades individuais e de grupo tornando-se um
importante aspeto do ensino, devendo os professores atender e corresponder às múltiplas
caraterísticas dos estudantes para a sua criação e estabelecimento, uma vez que se sabe que
estas comunidades também podem limitar a iniciativa de um indivíduo e / ou promover
normas que limitem a criatividade e a aprendizagem.
Cabe ao professor atribuir tarefas aos estudantes que sejam para eles interessantes,
de modo a que estes continuem nas suas tarefas de aprendizagem, havendo, contudo,
estudantes mais persistentes que outros. Também é aceite que as aprendizagens são mais
significativas em ambientes que se caraterizam pelo respeito mútuo.
Os próprios estudantes envolvidos em processos de ensino-aprendizagem, com ou
sem professores, necessitam com frequência de aferir o respetivo progresso antes de
10 avançarem para temas mais complexos e dependentes de conhecimento anterior.
Efetivamente, a utilização da Mineração de Dados Educacionais (EDM) tem contribuído
muito para o desenvolvimento das Ciências da Educação, nomeadamente na análise das
trajetórias dos estudantes à medida que se desenvolvem ao longo de um período de tempo.
Os estudos têm incidido sobre períodos de tempo pequenos. Amershi e Conati (2009)
estudaram as relações entre comportamentos em Ambientes de Aprendizagem (A. A.)
exploratória e os resultados da aprendizagem. Arroyo e Woolf (2005) examinaram as
relações entre um conjunto de comportamentos AA e as motivações num sistema
inteligente de tutoria. No entanto, existem estudos nos quais os períodos de tempo em
questão são maiores, como o de Arnold (2010), que teve a duração de um semestre. Este
assunto está intimamente ligado à AA, na qual um estudante procura, por um lado,
otimizar a forma de chegar ao seu objetivo e, por outro, otimizar a forma como essa forma
é construída. With Hadwin e Winne (Winne & Hadwin, 1998; Winne, 2001, 2011)
propuseram um modelo de 4 fases sobre A. A.
Se é certo que a Avaliação sempre tem levantado, e continua a levantar, muitas
reservas por parte de muitos educadores – ver, por exemplo, Miller, Linn, e Gronlund
(2009) – torna-se evidente do exame da bibliografia consultada, mesmo a mais recente, que
a avaliação não só não pode ser dispensada como tende a tornar-se cada vez mais presente
e decisiva.
No contexto atrás descrito, o papel do Professor não fica enfraquecido, sendo ainda
mais importante e difícil – uma vez que não se trata agora, apenas, de transmitir
conhecimentos cabendo-lhe ensinar algo muito mais importante: o significado das coisas e
da informação a que todos têm acesso, as atitudes perante o conhecimento; a semântica,
mais do que o conhecimento formal. Cabe-lhe também um papel ainda mais fundamental e
difícil na avaliação dos conhecimentos adquiridos e da certificação de competências num
contexto em que os processos de avaliação são objeto de sistemática contestação por parte
de grupos sociais importantes.
A avaliação dos estudantes consome grande parte do tempo dos professores.
Shaefer (1991) refere que os professores passavam até 10% do seu tempo com assuntos
relacionados com a classificação e a avaliação, e Stiggins (2004) refere que este tempo
pode representar cerca de um terço.
11 Assim, é neste quadro, que cabe ao Professor realizar a “medição”. Ou seja,
fazer a recolha e síntese da informação sobre os seus estudantes e as suas salas de aula. É
um processo contínuo. A recolha desta informação pode ser efetuada de maneira formal,
através de testes, relatórios, apresentações, entre outros; e de forma informal, por
observação, conversação, etc. Pode fazer parte deste processo informações sobre a sala de
aula assim como a forma de ensinar do professor.
Outro dos papéis importantes que o Professor tem a seu cargo é a “avaliação”.
Realizar juízos, dar classificações – atribuição de um valor à informação obtida – e decidir
sobre o mérito. As avaliações separam-se em avaliações formativas e sumativas. As
formativas são recolhidas antes ou durante a formação destinando-se a informar os
professores sobre os conhecimentos e as competências prévias dos estudantes. Estas
informações permitem aos professores fazer juízos sobre como agrupar os estudantes,
como planificar unidades e aulas assim como estratégias educativas. As sumativas
constituem a intenção da utilização da informação sobre os estudantes ou currículos após a
realização de uma série de atividades educativas. Têm como objetivo resumir o
desempenho de um estudante, ou grupo de estudantes, ou professor mediante um conjunto
de objetivos de aprendizagem. Realizam-se juízos sobre os resultados, servindo estes para
a determinação das notas e para explicar as mesmas aos estudantes e encarregados de
educação.
Tipo de
avaliação
Formativa
Sumativa
Tabela 1.2.1.
Quando é obtida
Tipo de informação
obtida
Como é utilizada
a informação
Antes ou durante
a formação
Informação sobre os
conhecimentos prévios
dos estudantes e / ou dos
processos formativos
Ajudar na tomada
de decisões do
professor
Após a formação
Informação sobre o
desempenho do estudante
e /ou do professor
Ajudar na
elaboração de
juízos sobre os
resultados obtidos
pelos estudantes
ou professores
Avaliação formativa e sumativa (Arends, 2008). 12 A informação que os professores e outros profissionais utilizam, para a tomada de
decisões deve ser de elevada qualidade (fiável e válida). Os resultados obtidos num teste
são fiáveis ou precisos quando são consistentes. No entanto, existem fatores que podem
introduzir erros (inconsistência e pouca fiabilidade) nomeadamente as expectativas dos
estudantes face às classificações a serem-lhe atribuídas, erros de classificação dos
professores e a disposição do estudante no momento do teste. Outra caraterística que um
teste deve ter é a de ser justo, ou seja, deve oferecer a todos os estudantes a mesma
oportunidade de terem uma boa nota, sem descriminação pela raça, etnia ou género.
1.3.
Teoria Clássica da Avaliação e o TRI. O Modelo de RASCH.
Os sistemas atuais de avaliação assentam, essencialmente, em conceitos
psicométricos e resultam de uma longa evolução que tem início em 1908 com a escala de
Binet e Símon, baseada em 30 problemas ordenados por dificuldade crescente, aplicável a
crianças entre os 3 e os 11 anos, escala esta que visava expressar a idade mental ou nível
mental.
Na evolução das teorias quantitativas de avaliação assumem especial relevância a
Teoria Clássica dos Testes (TCT) e a Teoria da Resposta ao Item (TRI) – Baker (1992),
Keeves (1988), Arias (1996), Longford (1995), Muñiz (1996) e Rauch e Harting (2010).
Considerando uma população de P pessoas sobre as quais são observados os
valores Xi (i= 1, 2, …, P) de uma variável aleatória – as pontuações obtidas num certo
teste, por exemplo – nesta teoria assume-se ainda que, para lá da pontuação observada Xi,
existe uma pontuação verdadeira Vi que não pode ser observada (diretamente), donde
resulta que
Xi = Vi + Ei,
Isto é, o valor observado Xi é o valor verdadeiro Vi mais o erro de observação
Ei = Xi - Vi,
assumindo-se que o valor médio do erro é nulo assim como são nulas as correlações dos
erros entre si e dos erros com os valores verdadeiros: isto é, não há relação (linear) entre os
erros entre si nem entre os erros e os valores verdadeiros.
Este modelo, como mostraram autores como Keeves (1988) e Linden (1997), sofre
de consideráveis limitações tanto do ponto de vista da adequabilidade à realidade de alguns
13 dos seus pressupostos (validade) como do ponto de vista da qualidade dos resultados
obtidos. Sobre estas dificuldades pode consultar-se Arias (1996) e Muñiz (1996).
Uma das dificuldades na utilização da TCT reside na não consideração de um
aspeto crucial do processo de medição aplicável a fenómenos psicológicos: o da interação
entre o respondente e a pergunta, mais especificamente entre o grau de competência do
respondente e o grau de dificuldade de um item.
Basicamente, a TRI – que abrange variantes expressas por vários modelos – assume
a existência de certas variáveis latentes (não observáveis diretamente) ou traços latentes
(competências) que permitem predizer ou explicar o comportamento do estudante ao
responder a um item. Uma vez que estas variáveis ou traços latentes, por exemplo, a
inteligência do estudante, não são observáveis diretamente, tudo o que se pode fazer é
tentar estimar o seu valor através de variáveis observáveis ou manifestas que são função –
dependem – desses traços latentes não observáveis (Baker, 1992; Linden, 1997).
Estes traços latentes – admitindo que são variáveis quantitativas – podem ser
unidimensionais ou multidimensionais/multivariadas. Isto é, são modeladas por vetores 
= (1, 2, …, k) em que k é o número de dimensões da variável latente ou traço latente.
Para cada traço latente - i –assume-se que existe uma relação crescente (função
caraterística) entre o valor desse traço e a probabilidade que o respondente obtenha êxito
ao responder ao item. Sobre este tema podem ver-se os citados Arias (1996), Baker (1992),
Muñiz (1996) e Linden (1997).
Em Baker (1992) e em Linden (1997) pode ver-se que uma variante específica da
TRI é o modelo de RASCH. Se n for a aptidão ou competência – valor do traço a ser
medido da pessoa número n – e se i for a dificuldade do item (dicotómico) i, então a
probabilidade de que esse respondente acerte ao responder a este item é dado pela
expressão
e (  n  i )
P X ni 1 
.
1  e (  n  i )


Em síntese: quanto maior o afastamento entre a competência de um estudante e a
dificuldade de um item (aqui expressa por n - i), menor é a probabilidade de que um
estudante com essa competência acerte na resposta a esse item. E o inverso. Em particular,
se n = i, a probabilidade de êxito é ½; por outras palavras, o resultado é incerto: por
vezes os respondentes que respondem a itens ao seu nível de competência acertam na
resposta, mas pode suceder, com igual probabilidade, o contrário. Se a competência do
14 respondente é maior que a dificuldade do item, então a probabilidade de acertar é superior
a 0.5. Reciprocamente, se a competência do respondente for inferior à dificuldade do item,
a probabilidade de acertar é inferior a 0.5.
Os valores n e i não podem ser observados diretamente, pelo que têm de ser
estimados a partir de observações resultantes da aplicação de testes. Os valores de n
aparecem refletidos nas percentagens observadas de acerto em testes com certa dificuldade
e os valores de n aparecem refletidos – para estudantes de certa competência fixa – na
percentagem de acerto na resposta ao teste.
O modelo de RASCH está em aplicação crescente tanto em testes constituídos por
questões (itens) de resposta múltipla como em testes formados por itens de resposta
expressa em escalas ordinais, como por exemplo escalas de Likert.
O modelo TRI tem sido um dos fatores explicativos do uso generalizado dos testes
de resposta múltipla (binária ou não) dada a simplificação que os dados provenientes deste
tipo de itens introduzem nos métodos de estimação e a simplificação da teoria estatística de
estimação permitida por este tipo de testes.
A outra razão está na facilidade com que as respostas a testes desse tipo são
classificadas e, portanto, no baixo custo da classificação, tanto para a organização como
para o professor.
Acresce ainda que a aplicação de itens desse tipo tem permitido a construção de
bases de dados com os resultados da respetiva aplicação a grandes conjuntos de
respondentes – possibilitando a estimação das chamadas curvas caraterísticas e de outros
parâmetros que estão na base da construção automática de testes cujas caraterísticas
psicométricas são perspetivadas e otimizadas antes do momento da aplicação (Wainer,
1990).
O aspeto negativo deste estado de coisas tem sido a anterior tendência para não usar
ou usar pouco questões de resposta aberta (em que os estudantes elaboram a resposta) mais
adequados do que os testes de resposta múltipla na avaliação de certos conhecimentos e
competências e latentes.
Recentemente têm-se intensificado – ver, por exemplo, Liu, Lee, e Linn (2011) - os
esforços visando a utilização de itens de resposta aberta nos testes de avaliação. Embora
desde há muito tempo se tenha reconhecido que os itens de resposta aberta – obrigando a
que os respondentes elaborem a resposta na sua língua natural, por exemplo – têm grandes
vantagens não só do ponto de vista da aquisição de conhecimentos como pelo que revelam
15 no momento da avaliação, diversas dificuldades têm impedido a sua utilização mais
frequente em testes de avaliação de conhecimentos.
Uma das razões prende-se com o tempo que a respetiva classificação exige dos
professores. A outra está ligada à dificuldade em evitar a intervenção de fatores subjetivos
e outros enviesamentos nas tarefas de avaliação. Existe, atualmente, uma investigação
muito ativa nas questões de adaptação da TRI aos problemas postos pela investigação das
respostas a questões abertas (Rauch & Hartig, 2010; Liu, Lee, & Linn, 2011; Oliveri &
Davier, 2011; Newman & Vermunt, 2011).
Este estado de coisas tem constituído motivação importante no sentido de explicar
tentativas de desenvolvimento de sistemas automáticos de classificação em particular de
itens de resposta aberta, tema que é o objeto nos números seguintes.
1.4. Avaliação Automática de Conhecimentos.
1.4.1. Introdução.
A necessidade de desenvolver sistemas automáticos de avaliação de conhecimentos
confunde-se, praticamente, com a necessidade de avaliar automaticamente conhecimentos
expressos por respostas a questões abertas (itens em que os respondentes respondem
elaborando a resposta e não selecionando apenas a resposta como nos testes de itens de
resposta múltipla). Em particular, a questões em que a resposta tem a forma de um texto.
Embora existam sistemas automáticos de avaliação de conhecimentos – por
exemplo, para matemática – que se baseiam em grafos, símbolos matemáticos ou equações
– ver, por exemplo, Williamson, Benmett, Bernstein, Foltz, Landauer, Rusin, Way, e
Sweeney, (2010) – a situação de longe mais comum é aquela em que a resposta é um texto:
ensaio ou texto mais curto.
Esta tendência tem-se acentuado à medida em que avança a investigação sobre o
processamento automático da língua natural, as técnicas de inteligência artificial e
sobretudo as técnicas de análise estatística de textos e de mineração de textos.
Surpreendentemente, como se verá em 1.4.3., os sistemas disponíveis no mercado
têm-se mantido – embora com aperfeiçoamento constante – relativamente estáveis. No que
se segue, a sigla SAAT serve para designar sistema Automático de Avaliação de Textos,
equivalente ao conceito em inglês Automatic Essay Scoring (AES).
16 1.4.2. Avaliação Baseada em Itens de Resposta Aberta.
Uma das vantagens dos itens de resposta múltipla está – o que vai contra a intuição
imediata - na possibilidade de reduzir tanto quanto for necessário ou desejável os
inconvenientes da resposta ao acaso. Por exemplo, se um item de resposta múltipla tiver 4
alternativas de resposta, a probabilidade de que um estudante acerte na resposta correta,
escolhendo a resposta ao acaso (“adivinhar” a resposta certa), é de ¼= 0.25.
É claro que para k alternativas de resposta, essa probabilidade é de 1 k . Em
particular, para k= 2, esta probabilidade é enorme (0.5).
Para um teste que tenha n itens com k alternativas de resposta cada uma, a
probabilidade de que um respondente acerte em a desses itens respondendo ao acaso (a= 0,
1, 2, …, n) é dada pela distribuição binomial. Isto é: se A designar o número de acertos
respondendo ao acaso a um teste de n itens cada um com k= alternativas, a probabilidade
de que A tenha o valor a é
 n
na
P ( A  a)    p a 1 p , em que p= 1 .
k
a
Assim, por exemplo, se um teste tem n= 20 itens cada um com k= 4 alternativas de
resposta, a probabilidade de que um respondente acerte em 10 desses itens escolhendo as
respostas ao acaso é:
 20 
P ( A 10)    0.2510  0.7510  0.0099  0.99%
 10 
Em resumo: é extremamente difícil alguém acertar em 10 itens num teste com 20
itens de 4 alternativas, escolhendo as respostas ao acaso.
Admitindo que para “ter positiva” é necessário obter 10 ou mais itens certos, essa
probabilidade num teste desse tipo, escolhendo a resposta ao acaso, seria
20 20
 
P ( A  10)     0.25 a  0.7510  a  0.0139  1.39% .
a  10 a 
Isto significa que se pode dificultar tanto quanto desejável ou conveniente os efeitos
do chamado “guessing” (adivinhar a resposta) aumentando o número de itens e/ou o
número de alternativas de cada item.
Está aqui uma das grandes vantagens deste tipo de itens. Outras vantagens que
explicam a sua enorme popularidade está no facto de ser possível criar bases de dados de
itens, aplicados em testes anteriores a grandes populações e sobre as quais é admissível
17 criar sistemas automáticos de elaboração e calibração de testes. Ver, por exemplo, Wainer
(1990) em que é apresentado a estado da arte nesta matéria em 1990.
O uso deste tipo de itens, associado ao TRI (ver atrás) torna possível gerar, por
processos puramente automáticos adaptados ao nível de competência do indivíduo
(Computer Assisted Testing), testes com itens calibrados cujas características psicométricas
(validade e fiabilidade) sejam pré-estabelecidas ou estimadas com relativa precisão.
A juntar a estas possibilidades há a considerar as vantagens teóricas e
computacionais que ficam relativamente facilitadas quando se usam itens de resposta
múltipla (Wainer, 1990; Liu, Lee, & Linn, 2011).
Entre outras vantagens citam-se a facilidade com que os testes são classificados, a
ausência de ambiguidade na atribuição da classificação e a consequente economia e
facilidade de organização logística.
Apesar de todas estas vantagens têm-se levantado contra este tipo de item as vozes
de investigadores na área da educação. Ribeiro (1989) aponta como principais
desvantagens deste tipo de item o facto de a respetiva construção consumir muito tempo,
ser difícil a identificação de alternativas falsas plausíveis e não servirem para avaliar
aptidões de expressão verbal, organização de ideias ou outras em que o respondente
organize a resposta (Rauch & Hartig, 2010).
Dum modo geral, este tipo de item não pode ser usado em situações em que o que
se pretende avaliar é a capacidade de desempenhar papéis ou a deteção de certos
comportamentos ou traços profundos que só se revelam pela realização (performance) de
certas tarefas.
A resposta natural a estas dificuldades é usar itens em que o respondente elabora a
resposta (Construct Response Item (CR), na designação anglo-saxónica).
Em particular, usar itens em que o respondente escreve um texto para responder à
questão formulada.
Numerosos estudos têm mostrado que a elaboração das respostas a este tipo de
questões (Rauch & Hastig, 2010) é em si mesmo instrumento importante de aquisição de
conhecimentos. Do ponto de vista da avaliação e classificação, a elaboração da resposta faz
intervir e portanto manifestar-se, certos tipos de traços latentes inacessíveis aos itens de
resposta múltipla.
Põem, contudo, numerosos problemas, o principal dos quais é o custo da respetiva
classificação, dificuldades logísticas, técnicas e problemas de validade e fiabilidade.
18 Quando é necessário atribuir classificações a um grande número de respondentes em
exames nacionais, por exemplo, torna-se necessário recrutar, formar, treinar os professores
a quem vai ser atribuída a responsabilidade pelas classificações e depois monitorizar as
classificações atribuídas para garantir que a coerência/fiabilidade se mantêm.
Trata-se de um processo muito caro e sujeito a inúmeras dificuldades técnicas, as
principais das quais são garantir que há uniformidade de critérios, ausência de
subjetivismos e de ambiguidades tanto na atribuição de resultados como na elaboração dos
testes (Ribeiro, 1989; Rauch & Hastig, 2010). Em síntese, em termos psicométricos e para
lá das questões económicas, põe-se problemas sérios de validade e fiabilidade que tem de
ser considerados.
Logo que a tecnologia dos computadores (software sobretudo) o possibilitou – por
volta de meados da década de 60-70 do século passado – começaram, de modo natural, a
aparecer os primeiros sistemas de avaliação e classificação baseados na avaliação
automática dos textos de resposta a questões abertas (Shermis & Burstein, 2003).
1.4.3. Sistemas de Avaliação Automática de Textos (SAAT’s).
Em Shermis e Burstein (2003) define-se avaliação automática de textos (Automatic
Essay Scoring (AES)) como a capacidade de avaliar e classificar prosa escrita usando a
tecnologia dos computadores.
O primeiro sistema deste tipo surge em 1966 e desde então têm aparecido novos
sistemas cujas características principais podem ser apreciadas através das referências a
seguir mencionadas.
Em Rudner e Gagne (2001), Yang, Buckendahl, Juszkiewicz, e Bhola (2012),
Shermis e Burstein (2003), Dikli (2006), He, Hui, e Quan (2009), Vojac, Kline, Cope,
McCarthy, e Kalantzis (2011) e ETS (2013) são apresentadas sucessivas revisões acerca do
estado da arte relativa à evolução dos sistemas AES e da investigação em diversos
domínios (estatística, linguística, processamento da linguagem natural e text mining) que
tornou possível o seu desenvolvimento.
Surpreendentemente, a lista de SAAT’s, iniciada com o sistema PEG (Project
Essay Granding) introduzido em 1966 por Ellis Page – Page (1994) – tem-se mantido
relativamente estável. É possível constatar através das referências citadas que os sistemas
mais salientes em 2008, para lá do já citado PEG, são o Intelligent Essay Assessor (IEA)
19 introduzido em 1997 por Landauer e Foltz (ver à frente), o E-Rater desenvolvido no ETS
(Educational Testing Service) por Jill Burstein, o sistema Intellimetrics, desenvolvido em
1998 e o sistema BETSY (Bayesian Essay Test Scoring SystemTM) desenvolvido em 2002.
Consultando Vojac et al., (2011), dez anos depois, vemos que a lista de SAAT’s
mais usados continuaria a incluir os citados PEG, IEA, E-Rater, Intellimetrics, bem como
novos sistemas muitas vezes desenvolvidos em estreita ligação ou como extensões dos
primeiros mas privilegiando agora a interação com o estudante a o respetivo feedback,
fazendo uso de resultados da investigação na área do processamento automático da
linguagem natural, Natural Language Processing (NLP) e da Internet.
Entre os novos sistemas referem-se, citando a referência mencionada, os sistemas
Criterion, Write to Learn, My Access, SA Grades, entre outros.
Muitos destes sistemas estão disponíveis na Internet e são de livre acesso se bem
que a respetiva tecnologia nem sempre seja totalmente acessível (Vojac et al., 2011).
Um dos sistemas que mais tem contribuído para a aceitação cautelosa mas
progressiva da utilização destes programas como instrumentos de avaliação de
conhecimentos é o sistema PEG descrito em Page (1994). A ideia básica deste primeiro
sistema, relevante ainda nos dias de hoje, consiste em tentar medir certas qualidades
intrínsecas (não observáveis diretamente) designadas “trins”- tais como a dicção, fluência,
pontuação e outras. Estas variáveis estão muito correlacionadas com outras – essas sim
observáveis diretamente – designadas “proxies”. Por exemplo, a fluência (um “trin”) está
correlacionada com a “proxi” número de palavras do texto e a dicção correlacionada com a
“proxi” variância do comprimento das palavras (Page, 1994). Se n textos produzidos pelos
estudantes forem classificados por um juiz humano que atribui ao texto número i a
classificação yi (i= 1, 2, …, n) então, assumindo que se consideraram no modelo as k
“proxies” P1, P2, …, Pk, a classificação yi relaciona-se com os “proxies” através de um
modelo linear expresso por uma regressão múltipla:
yi = ai + i1 P1 + i2 P2 + … + ik Pk + ei (i= 1, …, n)
em que ij são coeficientes a estimar durante a fase de “treino” (estimação do
modelo) usando os resultados de testes previamente classificados por professores, em que
os “proxies” desempenham o papel de variáveis independentes e as classificações yi (i= 1,
…, n) são variáveis dependentes.
20 Em geral, n varia de 100 a 400, usando-se mais do que um professor para realizar a
classificação dos testes da amostra usada na estimação (ou aprendizagem) do modelo,
podendo o número de “trins” e “proxies” ser da ordem das dezenas (Page, 1994).
Como é habitual com os modelos de regressão múltipla, a qualidade global do
ajustamento é medida pelo R2 (coeficiente de determinação). Os valores observados de R2
foram, desde as primeiras experiências, bastante elevados e encorajantes – acima de 0.75
(Page, 1994; Shermis & Burstein, 2003).
Embora o sistema PEG tenha sido desenvolvido em torno das ideias acima
descritas, é difícil não ver nos “trins” aquilo a que hoje se designaria por variáveis latentes
(traços subjacentes aos textos produzidos ao responder às questões e inacessíveis à
observação direta) e nas variáveis designadas “proxies” aquilo que se designaria,
atualmente, por variáveis manifestas ou indicadores das primeiras.
Isto significa que, implicitamente, subjacente à descrição do sistema PEG - poderia
ver-se um modelo de equações estruturais como o sugerido na figura 1.4.3.1.
Figura 1.4.3.1. Modelo estrutural sugerido (elaboração própria) pela estrutura do sistema PEG. O
modelo estrutural – a tracejado – está indefinido. Na figura 1.4.3.1. (elaboração própria) o modelo observacional (relações lineares
entre as variáveis T1, …, T9, “trins” ou variáveis latentes), Pi,j (i= 1, …, 9), (j= 1, …, n9)
são as variáveis indicadoras de cada uma das “trins” sugerindo o sentido das setas que os
“proxies” são manifestações observáveis dos “trins”. O modelo estrutural (relações entre
os “trins”) está indefinido e por isso representado por tracejados.
21 O sistema IEA (Intelligent Essay Assessor) – Landauer, McNamara, Dennis, e
Kintsch (2007) - baseia-se na técnica LSA – Latent Semantic Analysis – que assenta na
deteção de proximidades entre o significado das palavras usadas num certo conjunto de
textos, baseada na técnica computacional da decomposição de matrizes em valores e
vetores singulares (SVD). Uma vez que esta técnica é objeto da nossa especial atenção,
reservamos para o número 1.4.4. um desenvolvimento mais detalhado deste tema.
De acordo com Shermis e Burstein (2003) e Attali e Bustein (2004) o E-rater é um
sistema de classificação automática de textos desenvolvido como instrumento de apoio a
usar na avaliação das respostas a questões abertas. As classificações são expressas numa
escala 0-6.
O sistema foi desenvolvido no ETS – Educational Testing Service americano em
cujo site podem ser consultados numerosos artigos técnicos, estudos e relatórios relativos à
experiência obtida com o sistema e investigação geral sobre este tema. Ver site do ETS –
Educational Testing Service, http://www.ets.org/, consultado em 1/5/2013.
Concetualmente (Shermis & Burstein, 2003) o sistema E-rater que é baseado no
processamento automático da linguagem natural – procura identificar nos textos
caraterísticas (features) que expressem qualidades profundas da escrita do respondente.
Para isso dispõe de três módulos especializados (sintaxe, discurso, tópicos) cada um dos
quais deteta no texto em análise os atributos da respetiva categoria. No final, os valores
destes atributos são combinados numa classificação global.
IntelliMetrics é um produto da firma Vantage, desenvolvido em 1997 e que tem
sido usado nos estados Unidos para avaliar respostas a questões abertas contidas em
exames nacionais – nomeadamente no GMAT (Graduate Management Admission Test),
(Rudner, Garcia, & Welch, 2006; Lam, Dullon, & Chang, 2010). Pode também ser
consultado no site da firma Vantage (http://www.vantagelearning.com/, consultado em 14
Abril 2013) onde se pode ler uma discrição do respetivo funcionamento. Trata-se do
primeiro sistema de avaliação automática de conhecimentos baseado em conceitos de
inteligência artificial, conhecendo-se relativamente pouco acerca dos aspetos técnicos
específicos do respetivo funcionamento. Em Rudner, Garcia, e Welch (2010) é apresentada
a avaliação a que esse sistema foi submetido no contexto de um concurso que culminou
com a admissão do IntelliMetrics como instrumento de avaliação automática de
conhecimentos do exame GMAT da associação Graduate Management Admission
22 Council (GMAC). Através dessa avaliação pode verificar-se que esse sistema tem um
comportamento praticamente indistinguível do dos classificadores humanos e praticamente
a mesma precisão. Com efeito, verificou-se que os coeficientes de correlação média entre
as classificações atribuídas pelo sistema e as classificações atribuídas pelos classificadores
humanos eram frequentemente acima de 0.98 (Rudner, Garcia, & Welch, 2006).
Uma outra vantagem deste sistema é a de poder realizar a classificação de textos
escritos em diversas línguas incluindo, além do Inglês, o Francês, Espanhol, Português,
Arábico e Japonês (Dikli, 2006).
O sistema BETSY foi desenvolvido por Laurence M. Rudner - Departamento de
Medição, Estatística e Avaliação da Universidade de Maryland.
Em Rudner e Liang (2002) e em Dikli (2006) podem ver-se resumos das
abordagens seguidas para desenvolver este sistema, bem como as principais caraterísticas
do sistema BETSY, atualmente usado essencialmente em investigação e acessível de modo
totalmente grátis na internet (www.edres.org/betsy, consultado em 14 Abril 2013).
O interesse deste sistema assenta na metodologia usada no seu desenvolvimento – o
teorema de Bayes e redes bayesianas. Dado o texto de resposta a um item, o objetivo é
classificar este texto numa das categorias (classes) de um conjunto {C1, C2, …, Ck}
categorias. Por exemplo {C1, C2, C3} = {Apropriado, Parcial, Inadequado} ou {C1, C2, C3}
= {A, P, I}.
Não havendo qualquer informação à priori acerca do comportamento dos
estudantes, pode-se assumir que as probabilidade à priori de que o texto em causa pertença
a cada uma dessas categorias sejam iguais a 1/3= P(A) = P(P) = P(I) no caso do exemplo
ou, no caso de um conjunto de k classes, a 1/k= P(C1) = P(C2) = … = P(Ck).
Conhecendo os resultados de n testes anteriormente classificados, a distribuição à
priori de probabilidade poderia ser – por exemplo - P(Cj ) 
#(Cj )
n
em que #(Cj) é o número
de textos classificados na classe j (j= 1, 2, …, k).
Se sobre o texto da resposta em causa foram observados A caraterísticas – por
exemplo, as palavras distintas W1, W2, …, Wi, …, WA – podem definir-se as probabilidades
P (Wi | Cj) (i= 1, …, A ; j= 1, …, k), isto é, a probabilidade de que a palavra Wi ocorra no
texto em estudo, assumindo que o texto é da classe j (i= 1, … k).
No caso do exemplo anterior com 3 categorias, P (Wi | Não satisfaz), seria a
probabilidade de observar a presença da palavra Wi num texto da categoria “Não satisfaz”.
23 Mais uma vez, os valores P (Wi | Cj) (j= 1, …, k) podem ser estimados usando os resultados
de testes anteriormente classificados.
Sabendo que a palavra Wi ocorreu no texto j já classificado, usando o teorema de
Bayes, é possível passar das probabilidades “à priori” P (A), P (P), P (I), no caso do
exemplo anterior ou, no caso geral – P (Cj), j= 1, …, k – para as probabilidades à
posteriori:
P (C j |Wi ) 
P (Wi | C j )  P (C j )
e1 P (Wi | C e )  P (C e )
k
(j= 1, 2, …, k).
Deste modo, para o texto específico em consideração, ter-se-iam k probabilidades à
posteriori condicionadas à observação (ou não) da palavra i no texto em causa. Isto é, para
o texto t, essas probabilidades seriam:
P (C1 | Wi), P (C2 | Wi), …, P (Ck | Wi).
A regra de classificação de Bayes consiste em classificar o texto t na classe de
maior probabilidade (à posteriori).
Por exemplo, usando a escala de três posições antes definidas, {C1, C2, C3} = {A, P,
I}, ter-se-ia para o texto em causa t as probabilidades à priori P (A | Wi), P (P | Wi), …, P (I
| Wi).
Se as probabilidades à priori fossem {0.4, 0.4, 0.2} e, realizados os cálculos, as
probabilidades à posteriori fossem {0.6, 0.3, 0.1} então o texto em análise deveria ser
classificado na classe A visto que é ela que tem a maior probabilidade “à posteriori”.
A simplicidade deste método e a consequente facilidade da sua implementação –
bem como a qualidade dos resultados com ele obtidos (Rudner & Liang, 2002; Dikli, 2006)
explica o êxito do sistema BETSY que, hoje em dia é essencialmente usado como
instrumento de investigação.
1.4.4. Classificação baseada na Análise Semântica Latente.
1.4.4.1. Introdução.
Como se viu atrás, o sistema de avaliação e classificação automática IEA
(Intelligent Essay Assessor) usa a metodologia LSA designada neste trabalho por ASL.
A ASL assenta computacionalmente na decomposição em valores e vetores
singulares (Eckart & Young, 1936; Landauer, McNamara, Dennis, & Kintsch, 2007) de
matrizes com frequências de ocorrência de palavras em conjuntos de textos e, do ponto de
24 vista psicológico, em considerar que essa decomposição é um bom modelo para
representar o processo de aquisição do significado de novas palavras por parte das
crianças. Ver Capítulo II pormenores da nossa própria implementação deste sistema e no
Capítulo III resultados obtidos com dados reais.
De acordo com Chomsky (1968) todos os seres humanos nascem com um conjunto
inato de capacidades que lhes permitem, sem grande esforço, interpretar as estruturas das
frases, limitando assim, de modo drástico, o número de significados possíveis de novas
palavras que seria necessário considerar para aprender o respetivo significado.
Se bem que esta teoria da existência de algo que se poderia designar por um
dispositivo ou órgão inato de aquisição de palavras Word Acquisition Device (WAD),
(Bloom, 2000; Chomsky, 1968) - ou Language Acquisition Device (LAD) tenha em muitas
ocasiões sido posta em causa, acaba, recentemente, de receber uma importante
confirmação experimental nos trabalhos do grupo Blue Brain Project (Hill, Wang, Riachi,
Schurmann & Markram, 2012) em que é apresentada evidência física da existência de
certas estruturas neuronais inatas que condicionam de modo importante o processo de
aquisição da linguagem (e de outros processos) e portanto apoiam implicitamente as teorias
de Chomsky.
No que se segue referimo-nos aos trabalhos de Landauer e do seu grupo que
levaram à criação da ASL partindo precisamente de pesquisas que visavam criar um
modelo para o processo de aquisição de significado de novas palavras pelas crianças.
1.4.4.2. A Análise da Semântica Latente como Modelo de Aquisição do
Significado das Palavras pelas Crianças.
No site http://lsa.colorado.edu/, consultado em 12 Abril 2012, no Departamento de
Psicologia, Instituto de Ciências Cognitivas da Universidade de Colorado podem
encontrar-se e obter-se livremente as principais contribuições para a literatura da ASL,
nomeadamente Landauer e Dumais (1997) e Landauer, Foltz, e Laham (1998). Em
Landauer, McNamara, Dennis, e Kintsch (2007) é apresentado um panorama atualizado
destas metodologias.
O referido site permite ainda o acesso (utilização “on-line”) ao software IEA da
firma Pearson e a realização de experiências de classificação e comparação de textos com
esse software, bem como acesso aos sites e publicações dos restantes membros do grupo de
investigação associadas a Landauer e à metodologia ASL.
25 Em Landauer e Dumais (1997) são lançados os fundamentos psicológicos e
computacionais da ALS a partir da procura de uma “solução” para o chamado “Problema
de Platão” – que é afinal o problema de aquisição do significado das palavras por parte das
pessoas – as crianças em particular.
Em Landauer e Dumais (1997) e também Bloom (2000) nota-se a aparente extrema
facilidade com que as crianças adquirem o significado de novas palavras. Se cerca dos 17
anos um jovem pode já ter adquirido o significado de cerca de 60 000 termos, isso implica
uma taxa diária média de 10 termos por dia.
Este ritmo não pode ser justificado pela teoria da aprendizagem clássica que explica
a obtenção de novos significados pela associação de palavras a conceitos já aprendidos e
com expressão física através da criação de novas ligações neuronais – processo demasiado
lento face à evidência experimental da velocidade real de aquisição de novos temas.
Em Landauer e Dumais (1997) procura-se mostrar que a semelhança semântica é o
resultado das ocorrências conjuntas (coocorrências) das palavras nos textos e das
experiências a que as pessoas são expostas. Esta semelhança semântica (psicológica)
resultante das coocorrências citadas, pode ser representada como distância (ou proximidade)
num espaço métrico de dimensão (k) adequada.
Isto é, a verosimilhança de coocorrência de duas palavras num mesmo texto
escolhido ao acaso é tanto maior quanto mais relacionados estiverem os significados dessas
palavras. Esta semelhança, de caráter psicológico, poderia ser captada pela noção de
métrica de um espaço de dimensão adequada – em que esta dimensão deveria agora ser
estabelecida por métodos computacionais e estatísticos.
Mais especificamente, se considerarmos todas as coocorrências de palavras num
conjunto de textos (contando essas coocorrências) e interpretando semelhança psicológica
como semelhança de significados, pode pôr-se a questão de obter uma representação dessa
informação num espaço métrico de dimensão adequada.
Este modo de formular o problema que se pode encontrar em Landauer e Dumais
(1997) conduz naturalmente a um problema de MDS (Multidimensional Scaling) que pode
ser ilustrado do seguinte modo. Consideremos um texto hipotético contendo apenas as
palavras W1, W2, W3, W4, W5, W6.
O “texto” é:
W1
W2
W3
W4
W1
W5
W6
W2
W3
W2
W1
W2
W5
W6
W3
W2
W4
W5
W6
W4.
W4
26 As 20 coocorrências dessas palavras no “texto” anterior são:
(W1 W2), (W2 W3), (W3 W4), (W4 W1), (W1 W5), (W5 W6), (W6 W2), (W2 W3),
(W3 W2), (W2 W4), (W4 W1), (W1 W2), (W2 W5), (W4 W6), (W6 W5), (W3 W2),
(W2 W4), (W4 W5), (W5 W6), (W6 W4).
Não considerando a ordem das ocorrências (isto é, considerando que Wi Wj é o
mesmo que Wj Wi) obtém-se a seguinte tabela de frequências:
Coocorrências
de Palavras
Frequências
Absolutas
Frequências
Relativas
W1 W2
2
0.10
W2 W3
4
0.20
W3 W4
1
0.05
W1 W4
2
0.10
W1 W5
1
0.05
W5 W6
3
0.15
W3 W6
2
0.10
W2 W4
2
0.10
W2 W5
1
0.05
W4 W5
1
0.05
W4 W6
1
0.05
20
Tabela 1.4.4.2.1. Coocorrências das “palavras” wi, wj num texto. As frequências relativas observadas podem ser interpretadas como semelhança ou
proximidades entre as coocorrências dos significados das palavras. Observe-se que aqui
consideram-se coocorrências não as ocorrências simultâneas de duas palavras num texto
mas a sua ocorrência de uma seguida da outra.
Representando estas proximidades de ocorrência dos significados das palavras por
uma tabela simétrica, obtém-se a tabela 1.4.4.2.2. seguinte:
27 W1
W2
W3
W4
W5
W6
W1
1
0.10
X 0.10
0.05
W2
2
1
0.20
0.10
0.05
W3
X
4
X
0.05
X
0.10
W4
2
2
1
1
0.05
0.05
W5
1
1
X
1
1
0.15
W6
X
X
2
1
3
1
X
X
Tabela 1.4.4.2.2. Na tabela a parte triangular inferior contém as frequências absolutas e a superior as
frequências relativas; o símbolo X significa ausência de informação. Aplicando a esta tabela um programa de Multidimensional Scaling2 verifica-se,
usando, por exemplo, o algoritmo ALSCAL do SPSS – ver SPSS (2007) – que a
dimensão do espaço métrico que melhor representa estas coocorrências com o menor stress
possível é o espaço de dimensão k= 1, como se vê na figura 1.4.4.2.1.
Figura 1.4.4.2.1. Representação geométrica das proximidades de palavras do texto, obtida com o
SPSS. Neste caso, a dimensão de espaço é k= 1. 2
O MDS (Multidimensional Scaling) procura a escala (unidimensional ou multidimensional) que
melhor aproxima as perceções de proximidade de conceitos. 28 Como se ilustra no exemplo anterior, obtém-se uma representação geométrica
correspondente às proximidades das palavras no texto sem que tenha sido necessário
relacionar o significado das palavras com o significado de outros conceitos preexistentes,
exteriores aos dados, como exige a teoria da aprendizagem dos significados.
No exemplo anterior, o resultado final da “aprendizagem” baseada na coocorrência
de palavras seria a associação dos significados das palavras w1, w2, w4 entre si e a
associação dos significados das palavras w3, w5, w6. Por outro lado, a quase totalidade da
informação poderia ficar representada num espaço de dimensão 1 (uma linha em cujos
extremos estariam os dois grupos). Isto é, neste caso, a experiência empírica observada
poderia ser expressa falando dos dois grupos de palavras e da sua oposição. Em síntese, a
aprendizagem ou a formação do significado das palavras baseada nas coocorrências –
como aqui se ilustra – não apela ao esquema típico de aprendizagem “com professor” em
que para cada nova palavra que ocorresse seria necessário que um professor associasse ou
apontasse o significado de conceitos já aprendidos com os quais o significado da nova
palavra ficaria associado. Esse esquema não poderia explicar a extraordinária rapidez de
aquisição do significado de novas palavras pelas crianças porque exigiria comparações
muito lentas entre o significado potencial da nova palavra e o de um grande número de
significados alternativos de conceitos pré-existentes (Landauer & Dumais, 1997).
1.4.4.3. ASL como Instrumento de Avaliação Automática.
O modelo ASL, desenvolvido pelo grupo de Landauer (Landauer & Dumais, 1997)
assenta na decomposição em valores e vetores singulares das matrizes de frequências de
ocorrência de palavras em textos, assumindo que esse processo modela ou simula de modo
adequado a aquisição de novos significados por parte das crianças.
Dado um conjunto de documentos designados D1, D2, …, Di, …, Dp e de termos
W1, W2, …, Wj, …, Wn, a tabela F contém as frequências de ocorrência dos termos ou
palavras nos documentos. Isto é, se F = [fij], i= 1, …, p; j= 1, …, n representar essa tabela,
então cada palavra (uma linha dessa tabela) fica representado por um vetor de frequências
de ocorrência do termo nos documentos e cada documento (coluna) fica representado por
um vetor de dimensão n formado pelas frequências de ocorrência das palavras nesse texto.
O valor fij representa portanto a frequência do termos i no documento j.
Nesta representação que remonta a Salton, Wong, e Yang (1975) e a trabalhos
relativos à indexação automática de documentos, não há qualquer referência à ordem pela
29 qual os termos ocorrem nos diversos textos, sendo esta matriz analisável por diferentes
algoritmos conforme o problema a resolver.
Designa-se por modelo vetorial porque cada documento fica representado por um
vetor com um número de dimensões igual ao número de palavras que ocorrem no corpus
D1, D2, …, Di, …, Dp, sendo os valores das componentes do vetor as frequências (ou
valores que resultam da transformação das frequências) de ocorrência dessas palavras no
texto. Do mesmo modo, cada palavra fica representada pelo vetor de frequências (ou
valores que resultam da transformação das frequências) da ocorrência dessa palavra em
todos os documentos do corpus e com um número de dimensões igual ao número de
documentos (p).
Como pode ver-se em Landauer e Dumais (1997) e em Landauer, Foltz, e Laham
(1998), a ASL é definida (em tradução livre) como “uma teoria e uma metodologia que
permite extrair e representar o significado das palavras a partir do contexto das
respetivas coocorrências num grande corpus de texto”.
Isto significa que se vê na ASL uma teoria ou modelo psicológico adequado à
representação do mecanismo através do qual as pessoas (as crianças em particular)
constroem o significado das novas palavras, situando-as num espaço métrico de dimensão
adequada e “deduzindo” desta representação – quando têm de se expressar – proximidades
psicológicas que têm correspondência em representações geométricas (espaço métrico de
certa dimensão).
Para lá da componente psicológica, o modelo comporta uma componente
computacional que faz uso do método dos mínimos quadrados para detetar as
proximidades geométricas entre palavras, entre textos e entre palavras e textos implícitas
na matriz de frequências.
Com efeito, se F (n, p) representar a tabela de contingência que contém no
cruzamento da linha i (i= 1, …, n) com a coluna j (j= 1, …, p) o número de vezes que a
palavra i ocorre no texto j, esta tabela expressa, no fundo, uma série de restrições (impostas
pelas coocorrências de palavras sobre os diversos textos) do tipo daquelas que foram
exemplificadas no número anterior.
Estas dependências não são imediatamente evidentes a partir da inspeção visual da
tabela de frequências. Por exemplo, é difícil intuir diretamente, por inspeção visual, a
cadeia de dependências que resultam para os significados das palavras W1, W2, W3, W4, W5,
W6 no exemplo do número anterior.
30 Contudo, se construirmos com os elementos da tabela 1.4.4.2.2. um grafo cujos
vértices são as palavras, existindo um arco entre duas palavras quando a frequência das
coocorrências é maior que zero, a estrutura subjacente à tabela 1.4.4.2.2. e portanto às
ocorrências que lhe deram origem pode ser apresentada na figura 1.4.4.3.1.
Figura 1.4.4.3.1. Grafo correspondente à tabela 1.4.4.2.2. depois de ter eliminado os arcos
correspondentes à frequências mais baixas. Na figura 1.4.4.3.1. foram eliminados os arcos com baixa frequência
(correspondentes a coocorrências mais fracas). Vê-se que a estrutura é, grosso modo,
linear, correspondente à fornecida pelo processo automático do MDS constante na figura
1.4.4.2.1.
O método computacional eleito por Landauer e Dumais (1998) e Landauer, Foltz, e
Laham (1998) para simular os processos mentais que têm lugar no processo de
aprendizagem humana do significado das palavras é a chamada decomposição em valores e
vetores singulares (Singular Value Decomposition - SVD), tendo em conta que a SVD se
baseia no método dos mínimos quadrados para obter uma representação métrica dos dados
(Eckart & Young, 1936; Landauer, Foltz, & Laham, 1998).
Historicamente, este método computacional precede no tempo em muito o seu uso
para o fim específico que lhe é atribuído na formulação da ASL uma vez que aparece já em
Eckart e Young (1936).
De acordo com Eckart e Young (1936), dada a matriz F de frequências de
ocorrência de palavras num conjunto de textos T1, T2, …, T de um certo corpus, a
decomposição F = U D VT da matriz F num produto de três matrizes U, D, V é a solução
(única) do seguinte problema de otimização: buscar as matrizes U, D, V tais que o
quadrado da distância (no sentido dos mínimos quadrados) entre F e o produto U D VT seja
o mínimo possível. Isto é, se U, D, V forem matrizes variáveis, pretende-se encontrar
aquelas matrizes específicas tais que ||F - U D VT||2 tem o menor valor possível.
31 Mostra-se em Eckart e Young (1936) que U é uma matriz de dimensões n  d; D é
uma matriz diagonal de dimensões d  d; V é uma matriz de dimensões t  d em que t é o
número de textos e d é a dimensão do espaço de representação.
As linhas de U correspondem às palavras mas agora representadas numa dimensão
d que é menor ou igual ao número de documentos (p). Por sua vez, a matriz V que
representa agora nas suas linhas os documentos mas na dimensão d, não já na dimensão n
original. Por sua vez, D tem os elementos da diagonal ordenados por ordem decrescente,
representando estes valores as importâncias decrescentes das dimensões finais do nosso
espaço de representação (1, 2, …, d).
O valor de d é, em geral, inferior ao valor mínimo (n, p).
Isto é, se F for uma matriz com n palavras (linhas) e p colunas (textos) então, d em
geral é  min (n, p).
Estes conceitos podem ser ilustrados no seguinte exemplo numérico.
F=
d1
d2
d3
d4
W1
1
0
0
3
W2
0
1
0
0
W3
0
1
1
0
W4
0
0
0
1
W5
0
0
0
1
W6
0
1
0
0
W7
1
0
0
0
W8
0
0
1
0
W9
0
1
0
0
W10
2
0
1
0
Tabela 1.4.4.3.1. Frequências de ocorrência das “palavras” w1 … w10 nos textos d1 … d4. Neste exemplo as palavras W1, W2, …, W10 foram detetadas sobre os documentos
(textos) D1, D2, …, D4 com as frequências indicadas. Neste caso, n= 10, p= 4. Isto significa
que é possível representar tanto as palavras (linhas) como as colunas (textos) num espaço
de dimensão, quando muito d= min (10,4)= 4. Isto é, nunca será necessário mais do que 4
dimensões para expressar o significado quer das palavras quer dos textos que estão
representados na matriz F.
32 Isto significa que há um espaço métrico de dimensão d= min (10, 4) = 4 no qual
tanto as palavras como os textos podem ser representados, tendo em conta os pesos dados
pelos valores da diagonal de D. Ver no Capítulo II os pormenores no modo de obter esta
representação.
Se apenas considerarmos as suas duas primeiras coordenadas, vemos na figura
1.4.4.3.2. as posições relativas ocupadas pelas 10 palavras anteriores e pelos 4 textos. Esta
representação contém apenas uma percentagem
2.873  2.124 
2.873  2.124  2  1.12
 62%
da
informação (ou variabilidade total) contida na tabela F (Landauer, Foltz, & Laham, 1998).
Realizando a decomposição, verifica-se que:
F = U D VT
F=
D=
t1
t2
t3
t4
W1
1
0
0
3
W2
0
1
0
W3
0
1
W4
0
W5
U=
-0.447
-0.023
-0.289
0.097
0
-0.070
-0.325
0.289
0.348
1
0
-0.184
-0.245
0.577
-0.307
0
0
1
-0.184
-0.245
-0.289
-0.307
0
0
0
1
-0.184
-0.245
-0.289
-0.307
W6
0
1
0
0
-0.070
-0.325
0.289
0.348
W7
1
0
0
0
-0.447
-0.023
-0.289
0.097
W8
0
0
1
0
-0.114
0.080
0.289
-0.656
W9
0
1
0
0
-0.254
-0.570
0.000
0.041
W10
2
0
1
0
-0.641
0.525
0.289
0.153
T
V=
T1
T2
T3
T4
1
-0.758
0.473
0.000
0.449
2.873
0.000
0.000
0.000
0.000
2.124
0.000
0.000
2
-0.201
-0.690
0.577
0.387
0.000
0.000
2.000
0.000
3
-0.327
0.169
0.577
-0.729
0.000
0.000
0.000
1.112
4
-0.528
-0.521
-0.577
-0.342
Tabela 1.4.4.3.2. Componentes da SVD da matriz F. 33 Figura 1.4.4.3.2. Proximidades entre as palavras e os textos da tabela F através da análise SVD. A
azul as palavras, a vermelho (linhas) os textos. Nessa figura estão ainda posicionadas linhas que representam os textos ou
documentos T1, T2, T3, T4 usados no exemplo. Conforme se verá de modo mais
pormenorizado no Capítulo II, os ângulos entre as posições das palavras (mais
precisamente os cossenos destes ângulos) são tanto mais pequenos (cossenos tanto
maiores) quanto mais associados estão ao significado das palavras. O mesmo sucede para
os significados dos documentos entre si e dos documentos com as palavras. Assim, por
exemplo, na figura 1.4.4.3.2. os textos T1 e T3 fazem um ângulo relativamente pequeno
(cosseno elevado) entre si – o que significa que os respetivos significados estão
relacionados. Já o ângulo entre os textos T1 e T4 é próximo de 90º o que significa que os
respetivos significados não têm relação (são muito afastados). Os textos T1 e T2 produzem
um ângulo acima de 90º - cosseno negativo, o que sugere que os seus significados tendem
a opor-se. Com efeito, é isso que sucede na tabela de frequências: quando uma palavra
ocorre num dos textos, não corre no outro.
Nesse gráfico nota-se a sobreposição das palavras {w2, w6, w9} no símbolo w0 do
canto inferior direito e as palavras {w4 e w5} no ponto central da parte inferior. Isto resulta
de na tabela de frequências essas palavras serem representadas por vetores iguais. Isto é:
{w2, w6, w9} têm o mesmo significado – o mesmo sucedendo com {w4 e w5} sendo este
fator captado no gráfico dando a mesma posição a esses termos sinónimos (do ponto de
34 vista de T1, T2, T3, T4). Note-se que a sobreposição no plano de mais do que um objeto
pode resultar não da igualdade de coordenadas mas do facto de objetos de coordenadas
diferentes se projetarem no mesmo ponto. Não é esse o caso presente. Nesse gráfico notase ainda o pequeno ângulo formado pela palavra w7 e o texto T3 que chama a atenção para
o facto de o significado da palavra w7 ter uma grande contribuição para o significado do
texto T3. Nesta linha de raciocínio, atente-se ainda que o grupo de sinónimos {w2, w6, w9}
fazem um ângulo quase nulo com T2, o que chama a atenção para o facto de que o
significado do texto T2 está muito ligado ao significado do grupo {w2, w6, w9}.
É de notar, ainda, que as palavras w3, w8, w7 estão praticamente alinhadas segundo
uma linha reta, o que sugere que há uma relação linear entre os significados destas palavras
no conjunto de textos do corpus.
Verifica-se assim que a análise do resultado da ASL deste corpus põe em evidência
pelo menos três relações (lineares) entre as palavras, sugerindo assim que não são
necessárias 10 dimensões para representar o significado nem das palavras nem dos textos.
O mero facto de se ter constatado que {w2, w6, w9} são sinónimos, elimina duas dimensões
(no lugar de w2, w6, w9 poderíamos considerar um novo termo que simbolizasse o
significado como de {w2, w6, w9}. O mesmo sucede com {w4, w5}. No conjunto seriam
eliminadas três dimensões. A relação linear {w3, w7, w8} permitiria eliminar mais uma
dimensão (grau de liberdade de variação) reduzindo a dimensão inicial de 10 para 6
necessária à representação dos textos.
Em síntese: o número máximo de dimensões do espaço métrico necessário para
“falar” das relações entre as palavras seria, como se viu, não 10 mas apenas 4, quando
muito.
No caso de se considerar um “corpus” formado por centenas de textos com
milhares de palavras, o espaço métrico necessário para uma representação fiável do
significado das palavras é de algumas centenas (Landauer, Foltz, & Laham, 1998).
Numa série de experiências de simulação para comparar o comportamento do ser
humano e o da metodologia ASL, citada em Landauer, Foltz, e Laham (1998) concluiu-se
que a qualidade dos resultados obtidos depende de modo crítico do número d de dimensões
retida para o espaço de representação. Em certas situações em que a dimensão do espaço
original era de p= 1000, os melhores resultados obtinham-se com cerca de d= 300
dimensões, diminuindo essa qualidade drasticamente até valores muito baixos quando o
35 número de dimensões se afastava muito (para baixo ou para cima) desse valor
aparentemente ótimo.
Em experiências por nós próprios realizadas (ver Capítulo III) esta sensibilidade
da taxa de erros da ASL em função da dimensionalidade retida para o espaço de
representação é amplamente confirmada, sendo pois um elemento importante a reter, se
bem que fique em aberto a questão de determinar o valor exato desta dimensão ótima ou da
existência de alguma expressão matemática para o efeito.
As nossas próprias experiências parecem sugerir que essa dimensionalidade ótima
está ligada a uma variância acumulada de cerca de 85% e a dimensão que garante 85% da
informação é cerca de ½ p.
Isto é, no caso de p= 300, por exemplo, a dimensionalidade ótima sugerida pela
experiência é de cerca de d= 150, correspondente a cerca de 80% de variância acumulada.
Dada a aparente semelhança com que o método ASL permite representar em
espaços métricos o significado das palavras que ocorrem em grandes corpus e o
correspondente processo mental usado pelos seres humanos para adquirirem e
representarem no seu cérebro o significado das novas palavras, desde logo se tornou claro
para os autores citados que a ASL poderia ser usada para avaliação de conhecimentos
através da análise de textos produzidos pelos estudantes ao responderem a questões abertas
sobre certos temas (Landauer & Dumais, 1997; Landauer, Foltz, & Laham, 1998).
Conhecer um certo tema – ou melhor, obter conhecimento válido (em
correspondência com a realidade) sobre um certo tema e expressá-lo através de palavras
com certo significado – implica possuir na mente uma série de palavras ligadas a esse
domínio e seus significados, bem como as proximidades psicológicas inerentes a esses
significados. Se o estudante responde com um texto a uma certa pergunta, é natural que as
ocorrências de palavras no texto produzido traduzam as proximidades (ou ausência delas)
dos significados psicológicos das palavras na sua mente; proximidades estas que podem ser
captadas pela representação geométrica construída pela ASL através da decomposição em
vetores e valores singulares da matriz de frequências.
Cinco métodos alternativos para proceder a esta avaliação são sugeridos
informalmente em Landauer e Foltz (1997), alguns dos quais serão considerados na parte
experimental deste trabalho a apresentar no Capítulo III.
36 O significado prático dos resultados obtidos por ASL pode ser apreciado de modo
experimental através da consulta do original índice remissivo do manual em Landauer et
al., 2007.
O referido índice remissivo foi construído usando a metodologia ASL para analisar
os textos das páginas do livro em questão e as palavras consideradas no índice remissivo.
Nesta análise, cada página é um texto e as palavras consideradas estão no índice remissivo.
Deste modo, quando nesse índice remissivo se procura, por exemplo, a palavra
“semantics” o que esperaríamos encontrar num índice remissivo clássico seria a indicação
das páginas do livro onde poderíamos encontrar, localizar essa palavra. No referido
manual, para a palavra “semantics”, por exemplo, encontramos a referência “p.355, 0.70,
UEMs, familiarity”, o que significa que na representação geométrica gerada pela ASL, a
palavra “semantics” faz um ângulo de cosseno 0.7 com a página 355. Portanto, o
significado de “semantics” tem um grau de associação bastante elevado com o significado
da página 355. Contudo, a palavra “semantics” não aparece nessa página. As expressões
cuja semântica mais se relaciona com o significado da página 355 são “UEMs” e
familiarity.
Ver o índice da obra referida para outras regras de associação palavras/páginas a
considerar como exercício de entendimento do significado prático desta técnica.
1.4.5. Validade e Fiabilidade dos Programas de Avaliação Automática de Textos.
Os dois principais critérios de qualidade em investigação na Educação e Psicologia
são a validade e a fiabilidade (APA, 2003). Do ponto de vista da classificação automática
de textos convém precisar o significado desses dois conceitos quando a atribuição de
classificações/pontuações e a avaliação de caraterísticas humanas é realizada por uma
máquina: o programa de avaliação automática (SAAT).
A fiabilidade tem a ver, grosso modo, com a consistência dos resultados: em que
medida são coerentes os resultados obtidos em sucessivas aplicações do processo de
classificação automática e que fatores condicionam as eventuais inconsistências (Keeves,
1988).
A validade tem a ver com os riscos ou consequências das decisões a tomar com
base nas classificações ou pontuações atribuídas pelo processo de classificação automática
de textos.
37 O que se segue baseia-se largamente em Shermis e Burstein (2003), em Cizek e
Page (2003) e Keith (2003).
Fontes importantes sobre este tema no contexto dos SAAT’s são Bridgeman,
Trapant, e Attalli (2012) e Bejar (2011), bem como a normalização da APA (2003).
De acordo com esta última referência, a Fiabilidade tem a ver com a consistência
das medições quando o procedimento de testagem é repetido numa população de
indivíduos ou grupos. Inerente a todo o processo de medição está sempre associado um
erro de medição, de caráter aleatório.
Quando as pontuações/classificações são atribuídas por juízes humanos, seria
desejável que uma pessoa ou grupo de pessoas, tendo respondido mais do que uma vez ao
mesmo teste, obtivesse sempre a mesma pontuação – o que corresponderia a uma
fiabilidade muito elevada. Contudo, esta perspetiva é irrealista uma vez que, para lá da
variabilidade inerente ao comportamento dos seres humanos respondentes, as pontuações
atribuídas em ocasiões diferentes pelo mesmo juiz humano ou por um conjunto de vários
juízes humanos têm variações imputáveis aos erros cometidos por esses juízes.
De acordo com Cizek e Page (2003), expressando um ponto de vista hoje
comummente aceite e vertido nas normas APA – ver APA (2003) – a fiabilidade tem a ver
com a consistência, a confiança e a reprodutibilidade das pontuações/classificações
atribuídas por um certo procedimento de medição, sendo, por isso, uma caraterística do
processo de medição e não uma caraterística do teste. Isto é, o mesmo teste aplicado a
pessoas diferentes gera pontuações/classificações diferentes.
Mais especificamente (Cizek & Page, 2003) a fiabilidade observada é uma
propriedade dos dados gerados pelo processo de classificação; a fiabilidade é uma
propriedade da população formada pela totalidade desses valores, sendo pois um valor
constante e inacessível. Um valor populacional que tem de ser estimado a partir dos dados
observados.
Uma vez que a fiabilidade está relacionada com o erro de observação 2 e também
com a concordância ou consistência das medições, é natural que na respetiva estimação se
considere o valor 2 e também o coeficiente de correlação entre dois conjuntos de
pontuações/classificações. Sejam: X = (x1, x2, …, xn) e X’= (x’1, x’2, …, x’n) as
classificações obtidas por duas aplicações sucessivas do mesmo teste às mesmas pessoas,
usando o mesmo processo de medição.
38 Assim, por exemplo, se os resultados/pontuações/classificações obtidos em dois
momentos diferentes pelos mesmos 10 examinandos – numa escala de 0 a 5 – forem
(5, 4, 4, 3, 5, 2, 1, 4, 4, 5) e
(2, 4, 5, 4, 4, 3, 1, 5, 4, 5)
a fiabilidade vista na perspetiva da coerência medida pelo coeficiente de correlação
observado seria rXX’= 0.91, que é apenas a estimativa do valor inacessível (populacional)
de XX’.
Esta medição da fiabilidade, através do coeficiente de correlação, tem contudo
alguns defeitos, um dos quais ilustrado pelo exemplo seguinte, inspirado em Cizek e Page
(2003). Se, voltando à ilustração anterior, os resultados obtidos tivessem sido
X= (5, 4, 4, 3, 5, 2, 1, 4, 4, 5) e
X’= (4, 3, 3, 2, 4, 1, 0, 3, 3, 4)
o coeficiente de correlação observado seria agora rxx’= 1. Apesar deste valor
(coerência perfeita entre as duas medições), há certamente uma questão de fiabilidade uma
vez que não há concordância ou consistência entre os dois conjuntos de resultados. Isto
mostra que o coeficiente de correlação não é totalmente adequado como estimador da
fiabilidade – o que tem levado a considerar, em complemento, o chamado coeficiente de
concordância que mede, para cada examinando, o grau de coincidência entre as
pontuações atribuídas. Esta concordância pode ser exata (quando as pontuações atribuídas
coincidem) ou adjacente quando, não coincidindo, não diferem, contudo, por mais do que
uma unidade na escala que está a ser usada.
Quando em vez de juízes humanos se consideram programas de classificação
automática de textos (SAAT’s), há que adaptar os conceitos anteriores à nova realidade
resultante de um juiz humano ter sido substituído por uma máquina (o software de
classificação).
Se um programa de classificação automática for aplicado sucessivamente aos
mesmos estudantes, o erro, se o houver, não pode ser imputado ao programa uma vez que
este funciona sempre do mesmo modo, realizando sempre os mesmos cálculos. Agora
(Cizek & Page, 2003) o erro aleatório depende apenas das seguintes componentes:
a) Caraterísticas pessoais dos examinandos (competência, por exemplo);
b) Caraterísticas da linguagem e modo de apresentação do teste;
c) Condições de aplicação do teste.
39 Em Cizek e Page (2003) pode ver-se uma análise pormenorizada das manifestações
destes erros e dos procedimentos estatísticos a aplicar para analisar as componentes destas
contribuições bem como das respetivas interações, tanto na perspetiva clássica como na
perspetiva do TRI.
Embora não faça sentido proceder a análises de fiabilidade com dados gerados por
duas aplicações do mesmo programa, faz no entanto sentido avaliar os efeitos no erro
(fiabilidade) ao aplicar aos mesmos estudantes em épocas diferentes versões diferentes do
mesmo programa ou versões do SAAT produzidas por grupos diferentes de especialistas
ou classificar as mesmas respostas por programas diferentes. Em Cizek e Page (2003) e
também Powers, Burnstein, Chodorov, Fowles, e Kukich (2001) são descritas as
experiências de validação e cálculos de fiabilidade em relação ao programa E-rater do
ETS.
O conceito clássico de validade em Ciências da Educação aparece extensamente
tratado em Keeves (1998). Em particular, Zeller (1998) define um processo de medição
válido como aquele que mede o que pretende medir. Isto é, a validade de um processo de
medição tem a ver com o grau com que um indicador empírico mede o que se propõe
medir, entendendo-se por medição o processo de ligar um conceito abstrato a indicadores
empíricos. Nesta perspetiva não é o indicador em si mesmo que está a ser validado mas
sim os objetivos para os quais o indicador está a ser usado. A validade pode ser vista em
três perspetivas (Zeller, 1998):
Validade de conteúdo. Em que medida a validade de um indicador corresponde ao
conceito teórico que se propõe medir. Ou seja: em que medida um indicador expressa ou
reflete a variável latente que pretende representar? Por exemplo, o comprimento de um
texto (número de palavras num texto) não é um indicador válido da respetiva qualidade
literária.
Validade referida a critérios. Em que medida as pontuações atribuídas por um
processo automático de classificação se correlacionam com as pontuações atribuídas por
juízes humanos? Este tipo de validade pode ser medida, por exemplo, através do
coeficiente de correlação entre o critério (neste caso as pontuações atribuídas por um juiz
humano) e as classificações atribuídas pelo classificador automático.
Validade de constructo. Tem a ver com as relações entre os indicadores
observados e construções teóricas derivadas a partir de certas hipóteses. Por exemplo, se se
admitir que a hipótese teórica de que a língua tem influência sobre os resultados de uma
40 classificação automática de textos produzidos por falantes de diversas línguas, então numa
análise fatorial dos dados obtidos deveria aparecer a evidência de um fator que refletisse
essa hipótese: por exemplo, um fator altamente correlacionado com a língua.
Em Bejar (2011) define-se classificação automática (automated scoring) como
sendo a “atribuição de uma pontuação (nota, classificação, graduação) - usando um
algoritmo - a uma resposta construída por um respondente, em resposta a instruções
contidas num teste”.
A validade dos resultados de um processo deste tipo é uma propriedade das
inferências produzidas a partir destes resultados. Isto é, a validade destas pontuações tem a
ver ou deve ser medida pelas consequências do uso a dar às referidas pontuações. Por
outras palavras, ao risco associado ao seu uso em processos de decisão como, por exemplo,
consequências para as pessoas testadas e para a sociedade (APA, 2003).
Em Keith (2003) pode ver-se um tratamento bastante extenso e completo das
questões de validade inerentes à utilização dos resultados dos processos automáticos de
classificação de testes.
Um dos critérios “naturais” usados nos processos de validação dos sistemas SAAT
são as classificações atribuídas aos mesmos textos por juízes humanos. Implícito neste
procedimento está pois a assunção de que as classificações atribuídas por juízes humanos
conduzem a inferências válidas (Keith, 2003). Mais explicitamente, isto significa que a
correlação entre as pontuações produzidas pelos SAAT’s e produzidas por juízes humanos
conduz a inferências válidas sobre a capacidade da escrita, por exemplo.
É claro que quando se usa mais do que um juiz humano, a validade do processo
automático medido deste modo depende por sua vez das correlações entre as classificações
atribuídas pelos juízes humanos, o que significa (Keith, 2003) que o aumento das
correlações entre juízes humanos tem consequências na validade do processo automático.
Keith (2003) apresenta ainda resultados da validação medida em função desta
correlação para diversos sistemas em 2003 (PEG, Intellimetrics e E-rater) observando-se
frequentemente correlações entre os resultados obtidos por esses programas e os juízes
humanos da ordem ou acima de 0.8.
Em Attali e Burstein (2004), Chodorow e Burnstein (2004), Rudner, Garcia, e
Welch (2006), Bejar (2011) e Bridgeman, Trapant, e Attalli (2012) são apresentados
estudos de validade que, basicamente, confirmam as perspetivas apresentadas em Shermis
41 e Burstein (2003), confirmando assim a validade (referida a este critério) crescente dos
programas de classificação automática de textos.
Em particular, Chodorow e Burnstein (2004) apresentam evidências convincentes
relativas à aplicação do E-rater do ETS na classificação do teste TOEFL (Test of English
as a Foreign Language), notando a sensibilidade dos resultados da classificação
automática às linguagens nativas (Espanhol, Árabe e Japonês), comportamento que é
semelhante ao observado com juízes humanos.
Em Attali e Burstein (2004), num estudo de validação de uma nova versão do Erater (K2.0) conclui-se, entre outras coisas, que o comprimento do texto (em número de
palavras) é uma variável que contribui significativamente para as classificações holísticas
obtidas.
Uma das conclusões mais importantes do estudo citado é o valor 0.93 entre os
resultados obtidos com juízes humanos e os obtidos com o programa E-rater.
Existem óbvias relações entre qualidade e validade. Em Bejar (2011) analisam-se
estas relações sendo identificados os fatores a considerar nos processos de garantia e
controlo de qualidade dos SAAT’s de modo a melhorar a validade dos resultados a obter
com esses sistemas.
A título de exemplo cita-se a necessidade de uma interface homem-máquina
adequada, que garanta que os examinandos expressam as suas respostas sem estarem
sujeitos a constrangimentos desnecessários.
Em Bridgeman, Trapant, e Attalli (2012) num estudo do ETS abrangendo textos
produzidos no contexto da aplicação do TOEFL, GMAT (Graduate Management
Admission Test), GRE (Graduate Record Examination) e avaliados tanto por juízes
humanos como pelo software E-rater, abrangendo centenas de milhares de testes e
milhares de estudantes, confirmam-se os elevados valores de fiabilidade e validade obtidos
pelos programas de classificação automática de textos.
Especificamente, no estudo envolvendo dados gerados pelo teste TOEFL, usando
testes com a duração de 30 minutos, pontuados tanto pelo software E-rater como por dois
juízes humanos e envolvendo 132347 textos (num máximo de 300 palavras) conclui-se que
as correlações entre dois juízes humanos (HH) variam entre 0.61 e 0.70; as correlações
entre as classificações atribuídas pelo sistema automático, o E-rater e um juiz humano
oscilam entre 0.64 e 0.78 quando se considerou o efeito da língua de origem das pessoas
testadas.
42 De um modo geral, a conclusão do estudo é a de que, confirmando estudos
anteriores, embora a língua de origem não produza efeitos muito marcados entre os
resultados atribuídos pelos seres humanos e pelo programa de classificação, notou-se que
para certos grupos linguísticos as ordenações resultantes das classificações (e portanto com
impacto na vida das pessoas) seriam diferentes conforme as classificações fossem
produzidas pela máquina ou pelos juízes humanos. Este impacto tende a desaparecer
quando o resultado final resulta de uma combinação das duas classificações: humana e
automática.
De acordo com a informação recolhida na literatura que é possível consultar no site
do ETS - Educatiuonal Testing Service (2013) e apesar dos estudos que consistentemente
apontam para elevados índices de fiabilidade e validade na utilização dos SAAT’s,
continua a ser política daquela instituição, nos exames de alta responsabilidade (highstakes) usar a classificação simultânea por um programa e por um juiz humano. Quando há
discrepâncias significativas entre as duas classificações isso implica a adoção de um
procedimento especial que em geral consiste em classificar o teste por um segundo juiz
humano.
1.4.6. Experiência Acumulada com a Avaliação Automática. Tendências.
Neste número procura-se sintetizar a experiência colhida com a utilização de
software para avaliação automática, identificar e caraterizar algumas tendências que se
julga detetar.
Aspetos Metodológicos.
De um modo geral, em todos os sistemas considerados (PEG, IEA, Intellimetrics,
E-rater, Betsy) nota-se que apesar das óbvias diferenças na tecnologia usada (regressão
múltipla, inteligência artificial, redes bayesianas, análise da semântica latente) todos os
sistemas são implementados de acordo com a metodologia conhecida como modelo
estatístico de aprendizagem (Learning Machine).
Definido o algoritmo teórico para atribuir pontuações aos textos elaborados pelos
estudantes (redação ou “essays”) torna-se necessário uma fase de aprendizagem inicial em
que são estimados os parâmetros do modelo, usando para o efeito informação anterior.
Esta informação tem a seguinte origem: textos anteriormente classificados por
juízes humanos (em todos os casos), textos do domínio do conhecimento que se pretende
43 avaliar, escritos por espertos (professores, autores de livros e manuais) no caso da ASL e
ainda outra informação – nomeadamente informação linguística.
No caso de textos anteriormente classificados por juízes humanos, esta informação
de treino é designada por “amostra de treino (AT)”.
Uma vez “treinado” o algoritmo com estes dados de treino (estimados os respetivos
parâmetros), obtém-se uma versão provisória do sistema capaz de realizar classificações
automáticas de novos textos. Contudo, isso nunca é feito sem validar o sistema sobre a
chamada “amostra de teste (T)”. Trata-se também de testes que anteriormente foram
classificados por juízes humanos e que agora vão ser também classificados –
automaticamente – pelo sistema já “treinado” que resultou da primeira fase. Ver figura
1.4.6.1.
No esquema a seguir apresentado – comum aos sistemas estudados – a amostra
inicial de textos classificados, com n= q+p textos é dividida em duas partes (A + B),
ficando a primeira (A) com q testes e a segunda (B) com p. Por exemplo, uma possibilidade
é q= p = n/2.
Os n= q+p textos da amostra inicial foram previamente classificados por juízes
humanos que lhes atribuíram as classificações H= (h1, h2, …, hq, hq+1, …, hp+q).
Suponhamos que o modelo matemático usado para atribuir automaticamente uma
classificação a um texto genérico T é dado por uma expressão matemática f (texto, ) que
envolve o texto e certos atributos observados do texto (número de palavras, número de
pontos, as palavras do texto, …) e um conjunto de parâmetros ou pesos = (1, 2, …, k)
cujos valores são desconhecidos e necessitam de ser estimados (ou aprendidos) a partir dos
q textos pré-classificados.
Só para fixar ideias, admita-se que = (1, 2, 3) – com k= 3 – são as distâncias de
um texto a classificar aos textos classificados mais próximos (num certo sentido a definir)
e que a fórmula
f (texto,  = (1, 2, 3)) é
s = 1 d1 + 2 d2 + 3 d3 com 1 + 2 + 3= 1.
Isto é, os parâmetros a estimar, neste caso, seriam os pesos (de soma 1) pelos quais
seria necessário multiplicar as distâncias observadas aos textos mais próximos para obter
44 um valor aproximado da classificação atribuída pelo juiz humano ao texto T tendo em
conta a atribuição h1, h2, h3 aos três testes mais próximos.
Usando a informação da amostra de treino (A) os valores ˆ  (ˆ1 , ˆ2 , ˆ3 ) são
estimados a partir dos valores h1, …, hp atribuídos pelos juízes humanos a testes
anteriormente classificados.
O resultado é um classificador “treinado” mas que seria imprudente usar de modo
operacional sobre novos textos a classificar.
H
Texto 1
h1
Modelo Teórico
Amostra
Texto 2
h2
s= f (texto, )
de
…
…
= parâmetros do modelo
Treino
Texto i
hi
ˆ = parâmetros “aprendidos”
…
…
Texto q
hq
Texto q+1
hq+1
s1
…
…
…
= classificação atribuída
Texto q+j
hq+j
sj
pelo sistema ao texto
…
q+j pré-classificado
(A=
(B=
Amostra de
…
(estimados)
teste, testes
sj=f (textos q+j, ˆ )
por juíz humano
classificados
ERRO j=hq+j - sj
pelo juiz
humano)
Texto q+p
hq+p
sp
(C=
Novos textos a
classificar, não
classificados
pelo ser humano
Sistema operacional,
Texto
s
com características
psicométricas conhecidas
s= f (texto, ˆ )
Figura 1.4.6.1. Esquema de treino de um sistema de classificação automática de textos. 45 Figura 1.4.6.2. Pretende-se, neste caso, explicar a classificação h a atribuir (mediante o modelo)
ao texto T em função das k= 3 distâncias (d1, d2, d3) desse texto aos 3 vizinhos
mais próximos T1, T2, T3 aos quais os classificadores humanos atribuíram
previamente as classificações h1, h2, h3. Usa-se então a 2ª parte da amostra de treino (B) – a amostra de teste – para obter
estimativas do erro de classificação do classificador treinado e estimar caraterísticas
psicométricas (fiabilidade e validade) do classificador.
Se Tq+j for o texto número j da amostra de teste (B), a que um juiz humano atribuiu
a classificação hq+j (j= 1, …, p) então podemos comparar os valores hq+1, hq+2, …, hq+p
com as pontuações atribuídas automaticamente pelo sistema já treinado (ver figura
1.4.6.1.):
s1, s2, …, sj, …, sp, obtendo-se os erros
e j  hq j  s j  j= 1, …, p.
Estes erros permitem desde logo obter uma estimativa da taxa de erro de
classificação do sistema treinado e estimar também a validade referida ao critério:
“comparação com a classificação do juiz humano”, usando para isso o coeficiente de
correlação entre as classificações atribuídas automaticamente e as obtidas do classificador
humano (rhs).
46 Quando o erro de classificação e este índice de validade forem aceitáveis, poderá
então encarar-se a possibilidade do uso operacional do classificador sobre textos novos
cuja classificação se desconhece. Veja no Capítulo III resultados obtidos com o nosso
sistema ao ser aplicado a dados reais.
Esta metodologia tem óbvias limitações na sua aplicação ao contexto do apoio às
atividades de um professor isolado, dada a necessidade de classificar previamente uma
fração significativa dos testes. Valores usuais apontam para mínimos de 300 ou mais
testes. Poderia pensar-se que se trata de um modelo que só tem interesse para grandes
instituições como por exemplo os Ministérios de Educação dos países ou projetos em que
estejam envolvidos milhares de testes. Contudo, os dados experimentais do Capítulo III
resultantes da aplicação a textos produzidos no âmbito de uma avaliação contínua mostram
resultados animadores neste sentido.
Questões Psicométricas
Como se viu em números anteriores tanto a fiabilidade como a validade dos
sistemas automáticos de classificação de textos atingem, de acordo com a literatura
disponível, valores muito elevados. Se H significar o juiz humano e S significar um sistema
automático de classificação, as correlações HS superam frequentemente os valores HH. A
literatura aponta frequentemente – ver, por exemplo, Burnstein (2003) ou Rudner, Garcia,
e Welch (2006) – valores HS da ordem de 0.9 ou mais. Persistem contudo alguns
problemas que recomendam uma atitude prudente quanto à utilização generalizada e sem
restrições destes sistemas – principalmente em exames sumativos nacionais, com grandes
implementações para a vida das pessoas.
De um modo geral pode dizer-se que, do ponto de vista experimental e de acordo
com os estudos publicados pelo ETS (Educational Testing Service) em particular, é
atualmente difícil distinguir as classificações produzidas pelos sistemas automáticos e
pelos juízes humanos quando apenas estão envolvidos os chamados traços superficiais (por
oposição aos traços profundos subjacentes aos textos).
Utilização Operacional dos Sistemas de Avaliação Automática de Textos
(SAAT)
Antes de mais deve-se pôr em evidência que toda a investigação experimental e
utilização operacional dos SAAT’s incidem sobre textos produzidos por examinandos
47 utilizando meios informáticos, excluindo-se textos manuscritos posteriormente transcritos
ou lidos por sistemas de leitura ótica de caracteres manuscritos.
Apesar de toda a investigação experimental e operacional apontar tendencialmente
para a indistinção – segundo critérios da fiabilidade e validade – entre as pontuações
atribuídas por sistemas SAAT e juízes humanos, constata-se que, um organismo como o
ETS (http://www.ets.org/research/contact.html (consultado em 26-04-2013) não admite
ainda a utilização exclusiva destes sistemas em provas a nível nacional. As razões podem
ver-se em Williamson, Xi, e Breyer (2012) e Zhang (2013).
Este organismo distingue assim entre testes de alto risco (high-stakes tests) e testes
de baixa responsabilidade (low-stakes tests).
Os testes de alto risco são os que estão associados a consequências muito
importantes para a vida dos examinandos e das sociedades, como por exemplo exames
nacionais em que o risco de uma atribuição errada ou enviesada de classificação pode ter
consequências desastrosas para a vida das pessoas e funcionamento da sociedade.
Para este tipo de teste admitem-se várias soluções mas nunca a utilização exclusiva
dos SAAT’s (Williamson, et al., 2010; Williamson, Xi, & Breyer, 2012; Zhang, 2013).
Para os testes de baixo risco, como por exemplo os testes de diagnóstico ou os
testes para controlo da avaliação contínua admite-se a utilização dos SAAT’s.
As referências Williamson, Xi, e Breyer (2012) e Zhang (2013) são especialmente
reveladoras da situação presente e das tendências que se estão a manifestar. Se por um lado
se reconhecem inegáveis vantagens dos SAAT’s, já constatadas experimental e
operacionalmente (como objetividade, consistência, reprodutibilidade, explicação dos
resultados), por outro lado, na avaliação dos traços latentes subjacentes aos textos (aspetos
de estilo, conteúdo, pensamento crítico) os avaliadores humanos têm vantagem sobre os
SAAT’s, se bem que sejam por vezes altamente inconsistentes, sujeitos ao efeito halo
subjetivos, influenciáveis.
Destas considerações resultam implicações práticas relativas à utilização dos
SAAT’s em testes de alto risco. Para estes testes, o ETS usa simultaneamente os SAAT’s e
o juiz humano, segundo duas alternativas (Williamson, Xi, & Breyer, 2012; Zhang, 2013).
48 1ª Alternativa
A classificação final baseia-se numa combinação da classificação S atribuída pelo
SAAT e da classificação H atribuída pelo juiz humano. Quando a diferença entre as duas
classificações excede um certo limiar e – isto é, quando |S - H| > c – então é chamado um
novo juiz humano.
A classificação final é:
c = w1 × S + w2 × H
em que w1 + w2 = 1. Por exemplo, w1 = w2 = ½.
2ª Alternativa
A classificação final é atribuída por um classificador humano (H). A pontuação (S)
do SAAT é usada apenas para controlo de qualidade.
Ver Zhang (2013) e Williamson, Xi, e Breyer (2012) para outras alternativas.
Tendências
A literatura recente – ver, por exemplo, Zhang (2013) – coincide na ideia de que
num futuro próximo se assistirá ao uso generalizado dos SAAT’s para a classificação dos
testes sejam eles de alto risco ou de baixo risco (sumativos ou formativos). A situação atual
(uso dos dois sistemas) tem mais a ver com questões psicológicas, sociais e políticas do
que com questões de validade.
No modelo do “bag of words” em que se baseia a ASL, estudos citados em
Landauer, McNamara, Dennis, e Kintsch (2007) atribuem 80% do significado dos textos
ao significado das próprias palavras e apenas 20% à ordem das mesmas e a outros aspetos
como a estrutura das frases. Contudo, estudos mais recentes relacionados com os trabalhos
de Kintsch (2001) e Dennis (2005), citados na referida obra, mostram que o modelo ASL
pode ser generalizado de modo a abranger esses aspetos.
1.5.
EDM - Educational Data Mining.
O conceito de Educational Data Mining (EDM) que no que se segue traduziremos
por Mineração de Dados Educacionais (MDE) é a manifestação nas Ciências de Educação
de um fenómeno global ligado à acumulação, em bases de dados digitais e outros
repositórios menos organizados, de enormes quantidades de dados.
49 Estes dados têm naturezas muito diversas – desde dados científicos resultantes da
observação organizada e planeada da natureza até dados resultantes do funcionamento
normal das organizações de qualquer natureza.
Os dados representam factos expressos por números, textos, imagens e sons.
De acordo com estudos recentes – ver, por exemplo, Manyika, et al. (2011) – esta
acumulação longe de abrandar tende a acelerar, tornando muito difícil, mesmo face às
capacidades atuais de análise, proceder à extração atempada de informação útil à tomada
de decisão.
Este facto tem contribuído não só para uma alteração significativa da investigação
científica – parte da qual incide hoje sobre os dados acumulados em bases de dados – e
para a criação de possibilidades novas como a investigação em Ciências da Educação
(Romero, et al., 2011).
Num artigo gerado na área da crítica literária (Moretti, 2005) constata-se que, face à
taxa de produção literária – em particular em romances de língua inglesa – é praticamente
impossível a um especialista dessa área ler até aquele relativamente pequeno número de
livros (face ao volume da produção) que lhe permitiria manter-se minimamente atualizado.
Mesmo que dedicasse todo o tempo disponível a ler novas obras ocorridas num só ano,
esse especialista necessitaria de centenas de anos de trabalho para ler só os trabalhos desse
ano.
Daí a constatação natural (Moretti, 2005) de que só é possível exercer a atividade
de crítico literário da área em questão com apoio de programas de gestão de dados textuais
e de programas de análises estatísticas destes textos.
Segundo Moretti (2005), o apoio necessário não é apenas o inerente às contagens e
cálculo de estatísticas básicas (quem, quando, onde, quantos textos, de que temas, etc…)
mas passa também pelas sínteses automáticas dos conteúdos, feitas com a rapidez
compatível com as imposições da atividade. Isto é, implica a “leitura automática” de
milhares de textos em curtos períodos de tempo de modo a permitir sintetizar o respetivo
conteúdo, classificar esses textos em categorias homogéneas relevantes para a atividade de
crítico e que permitam, eventualmente, escolher ao acaso um pequeno número de textos
que o crítico literário possa ler “pessoalmente”.
50 De um modo geral Data Mining (mineração de dados) (Fayyad, Piatetsky, Shapiro,
Smyth, & Uthurusamy, 1996) consiste na aplicação de algoritmos (sumarização,
classificação, regressão e outros) para a extração de padrões a partir dos dados (factos).
Este processo de mineração de dados integra o processo de extração de
conhecimento a partir da base de dados e que consiste, segundo o mesmo autor, na
descoberta de informação útil em base de dados. O que fica para lá da mineração de dados
(data mining) são as tarefas de interpretação, em domínios de atividade específica, dos
padrões ou regularidades descobertas pela aplicação das técnicas computacionais e
estatísticas.
A mineração de dados (text mining) é um caso particular destas atividades quando
os dados são textos (sequências de caracteres). Ver, por exemplo, Feldman e Sanger
(2007).
O conceito de “big data” – Manyika, et al. (2011) – significa pois o reconhecimento
do problema do crescimento exponencial da informação digital e da quase impossibilidade,
com os meios existentes (software e hardware) de extrair dessa montanha de dados
informação útil e adequada à tomada de decisão.
O conceito de “big data” tem implícito o reconhecimento de que se torna
necessário desenvolver com urgência novos algoritmos, meios de análise e teoria que
permitam extrair dessas montanhas de dados, conhecimento válido para a tomada de
decisão em tempo útil e modelos de predição de eventos futuros assentes nesse
conhecimento empírico – o que corresponde ao conceito mais recente de “analítica”
(analitics) abrangendo a conceção, validação e operacionalização de modelos de predição
combinando estatística, informática e modelos matemáticos (investigação operacional) e
outras ciências do domínio ou domínios envolvidos nos dados, tendo por objetivo produzir
predições empíricas (baseadas nos dados) e métodos que permitam avaliar a qualidade
dessas predições (Shmueli & Koppins, 2011).
É no contexto atrás sintetizado que surge o conceito de EDM, por volta de 1995.
Ver Baker, Ryan, e Yacef (2009) que procuram fazer o estado da arte deste tema em 2009.
Basicamente EDM é a mineração dos dados resultantes da atividade do ensino, o
que justifica a tradução por Mineração de Dados Educacionais (MDE). Estes dados podem
ter origem na sala de aula (com a observação da aula, resultados de testes formativos, por
exemplo), na interação de estudantes com software educativo como as plataformas de e51 leaning (Moodle, por exemplo), nos resultados de testes sumativos a nível nacional ou
local, nos dados gerados pela atividade de gestão de sistemas de ensino, entre outras
fontes.
Como se observa através destes exemplos, os dados referidos não são recolhidos
com o fim de apoiar a investigação nas ciências da educação. Resultam simplesmente do
funcionamento normal dos sistemas existentes, na prossecução dos respetivos objetivos.
Contudo – à semelhança do que está a ocorrer em quase todas as áreas de atividade
científica ou não – o facto é que estes dados permitem não só extrair conhecimento útil à
gestão como – é este o facto novo – realizar investigação empírica sobre os sistemas de
ensino e alicerçar em dados objetivos novos modos de encarar o ensino, redefinir o papel
dos professores e os modos de avaliação – esbatidas, muitas vezes, estas distinções (Rupp,
Nugent, & Nelson, 2012).
Embora possa parecer questionável o estabelecimento de uma especialização da
atividade de mineração de dados ligada exclusivamente aos dados da educação – com o
argumento de que estes têm características específicas como a natureza hierárquica e
ausência de independência – o facto é que o EDM tem-se desenvolvido rapidamente e tem
servido para agregar investigadores e a investigação, antes dispersa, nesta área.
Os resultados desta atividade de investigação estão acessíveis em repositórios
digitais
como
os
do
site
do
Journal
of
Educational
Data
Mining
–
http://www.educationaldatamining.org/JEDM/index.php consultado em 14 de Maio de
2013 – e também os artigos publicados nos proceeding dos sucessivos congressos anuais.
Ver o site http://www.educationaldatamining.org/ consultado em 12 de Maio de 2013.
Passada uma fase inicial em que se tratou principalmente de aplicar as técnicas
tradicionais de data mining a dados do domínio das ciências da educação, assiste-se agora
ao aparecimento de investigação em que são explorados aspetos e problemáticas
específicas deste domínio. A título de exemplo cita-se Antunes (2010).
Uma área que está a receber atenção crescente tem a ver com os aspetos
motivacionais no âmbito da aprendizagem e cujo tratamento pode ser objeto de abordagens
por vezes surpreendentes e só possíveis no ambiente de superabundância de dados atual.
Como por exemplo, em D’Mello e Graesses (2010) em que é relatada uma experiência
destinada a investigar aspetos emocionais e afetivos da interação dos estudantes com uma
plataforma de ensino eletrónica. Em vez do estudo das expressões faciais dos estudantes ao
52 interatuarem com as diversas partes do curso, os investigadores referidos obtêm resultados
interessantes estudando os registos da postura do corpo expressa pela distribuição da
pressão exercida pelo corpo do estudante sobre o assento e as costas da cadeira usada,
mediante sensores de pressão especiais e o registo simultâneo dos ecrãs correspondentes do
curso. Foi assim possível relacionar atitudes de entusiasmo e aborrecimento, por exemplo,
com as partes relevantes do curso, com óbvias consequências para a melhoria do mesmo.
A superabundância de sensores de baixo custo, permitindo o registo das mais
diversas variáveis e guardar os dados destas medições em bases de dados, bem como a
disponibilidade crescente de metodologia estatística que permite o tratamento dos dados
gerados de forma a autorizar inferências válidas sobre o comportamento dos estudantes,
está na base de um desenvolvimento muito interessante – e sob certos aspetos
surpreendente – na área do MDE. Trata-se do conceito de Evidence Centered Design
(ECD) que poderíamos traduzir por Conceção de Sistemas de Avaliação Centrados na
Evidência, atendendo ao contexto em que foi criado e desenvolvido, no ETS (Mislevy,
1992; Mislevy, Almond, & Lukas, 2003; Rupp, Nugent, & Nelson, 2012).
O conceito ECD – mantendo a sua designação original em inglês – aparece já,
implicitamente, em Mislevy (1992) no âmbito de um estudo realizado pelo ETS
relacionado com a questão da comparação de resultados (classificações) obtidos por grupos
diferentes, avaliados por métodos distintos de avaliação e medição.
Segundo Mislevy, Almond, e Lukas (2003), o ECD pode ser descrito como uma
abordagem empírica (assente nos dados) à questão da conceção e implementação de
sistemas de avaliação (assessment). Os referidos autores constatam que o que há de comum
entre todos os sistemas de avaliação em educação é “o desejo de raciocinar a partir de
coisas particulares que os estudantes dizem ou fazem para realizar inferências acerca dos
seus conhecimentos e competências”.
É o que sucede num contexto limitado, por exemplo, no âmbito do TRI em que se
procura inferir o comportamento dos itens e dos estudantes observando casos particulares
de respostas a itens integrados em testes já aplicados (Bergner, Dröschler, Kortmeyers,
Rayyan, Seaton, & Pritchard, 2012).
Estes esquemas clássicos de avaliação têm sido considerados, cada vez mais,
inadequados para avaliar a evolução dos estudantes – principalmente face a avanços na
psicologia e ciências da educação. Este facto é tanto mais evidente face ao avanço
53 tecnológico, nomeadamente quanto à possibilidade de observar aspetos inacessíveis aos
testes clássicos e de tratar os dados resultantes da interação dos estudantes com sistemas de
e-learning e da monitorização do processo de aquisição de conhecimentos usando técnicas
que combinem modelos de decisão, psicometria, biometria e mineração de textos e outros
dados.
54 Capítulo II: Metodologia da Investigação.
2.1.
Introdução.
Como se disse na Introdução à Tese, a principal questão que este trabalho procura
investigar tem a ver com a identificação e avaliação dos problemas associados ao
desenvolvimento de instrumentos de ensino / aprendizagem, a serem usados por
professores e estudantes, baseados em análises estatísticas de textos.
De entre esses problemas, ocupam papel central as questões ligadas à
monitorização, tanto por professores como por estudantes, dos processos de aquisição de
conhecimentos naquelas matérias em que a língua nativa – o português em particular –
detém a maior importância. Em particular, as questões ligadas às situações em que os
estudantes expressam em português as respostas a questões abertas.
Se bem que durante a elaboração deste trabalho tenham sido identificados
importantes projetos de investigação ligados à língua portuguesa – veja-se, por exemplo, a
investigação associada à atividade do Instituto de Linguística Teórica e Computacional,
ILTEC (http://www.iltec.pt/ consultado em 22 de Maio de 2013), os trabalhos do grupo
NLX - Natural Language and Speech Group da Faculdade de Ciências da Universidade de
Lisboa (http://nlx.di.fc.ul.pt – consultado em 22 de Maio de 2013) ou os trabalhos de
outros investigadores como Cláudia Antunes, ligada ao Instituto Superior Técnico
(http://web.ist.utl.pt/claudia.antunes/ consultado em 22 de Maio de 2013) – constata-se que
na área que nos ocupa (a da aquisição e avaliação de conhecimentos usando o português
como instrumento) relativamente poucos trabalhos têm sido publicados
Dentro desta vasta área concentrámo-nos no problema da análise dos textos
produzidos por estudantes em resposta a questões abertas, questão que está na interseção
de muitos dos problemas antes identificados.
A preocupação inicial foi a de entender a razão pela qual a Análise da Semântica
Latente (ASL) aparece na literatura técnica desta área como modelo natural de aquisição
da linguagem. Para isso começou por se estudar o artigo Landauer e Dumais (1997),
relativo ao chamado “Problema de Platão” que designa a aparente contradição entre a
rapidez com que as crianças obtêm novos termos face à relativa pouca quantidade de
informação que recebem durante esse processo.
55 Feito isto, procurou-se em seguida reproduzir, no domínio do Português,
experiências relatadas na literatura para outras línguas e que dão conta da possibilidade de,
usando a metodologia da ASL, construir sistemas de avaliação automática de
conhecimentos com base nessa metodologia.
Neste sentido considera-se muito útil o acesso às facilidades do sítio da
Universidade do Colorado (http://lsa.colorado.edu/) em que elementos do grupo de
investigação ligado a Landauer têm publicado os resultados dessa investigação, sendo
ainda possível utilizar “on-line” um sistema Intelligent Essay Assessor (IES) que permite
avaliar textos submetidos por utilizadores.
Contudo, sendo o nosso objetivo o de estabelecer a possibilidade de construir
sistemas utilizáveis, de modo rotineiro, por professores e estudantes portugueses com
recursos muito limitados, decidimos construir um protótipo – descrito no que se segue –
que permitisse, com total flexibilidade, responder às questões formuladas.
No que se segue ao longo deste capítulo, descreve-se, sucessivamente, em 2.2. o
modelo que serviu de base à implementação do protótipo usado na experimentação, em
2.3. as decisões tomadas relativas à estruturação de uma amostra que permita validar o
modelo e realizar as experiências que permitiram responder às questões colocadas e, em
2.4., definir a metodologia para recolher os dados. Finalmente, em 2.5. descreve-se a
metodologia geral a usar para analisar os dados nas diversas experiências a realizar com
uma implementação desse modelo.
2.2.
Formulação do Modelo.
2.2.1. Estrutura.
Neste número descreve-se o modelo usado como instrumento desta investigação e
com base no qual foi concebido o software Programa de Análise Estatística de Textos
(PAET) descrito em 3.4. e objeto do Manual do Utilizador que constitui o Anexo A deste
trabalho.
A figura 2.2.1.1. descreve a estrutura do sistema que permite, usando os textos dos
professores e manuais escolares, produzir os chamados espaços semânticos, instrumento
fundamental da Análise da Semântica Latente descrito em 2.2.2.
56 A figura 2.2.1.2. descreve a estrutura do sistema experimental a desenvolver na
avaliação de conhecimentos de uma certa matéria com base em textos produzidos pelos
estudantes ao responderem a questões de resposta aberta e nos espaços semânticos
construídos a partir dos textos dos manuais usados no ensino desse tema.
Figura 2.2.1.1. Armazenamento da informação de base e construção de espaços semânticos a
partir de textos produzidos pelos professores e manuais escolares relativos ao
ensino de certas matérias. 57 Figura 2.2.1.2. Estrutura do sistema de avaliação de conhecimentos com base em textos de
resposta a questões abertas. Os significados dos símbolos da figura 2.2.1.1. são as seguintes:
PGBD – Programa de Gestão da Base de Dados
BDT – Base de Dados Textual
PIU – Programa de Interface com o Utilizador
ES – Espaços Semânticos
PLSA – Programa de Construção do Espaço Semântico Latente (ASL)
PRVT – Programa de Representação Vetorial dos Textos
PSVD – Programa de Decomposição em Valores e Vetores Singulares
58 Os textos relevantes para uma análise são os seguintes:

Manuais e outros documentos recomendados para a aprendizagem da matéria
em avaliação.
Exemplo: Manuais escolares usados no ensino do Português e obras de autores
portugueses usados num certo nível de ensino.

Textos – apontamentos produzidos pelos professores de uma certa matéria.

Textos com as respostas dos estudantes aos itens de resposta aberta, contidos
nos testes de exames globais ou formativos.
Exemplo: Resposta dos estudantes do 12º ano a itens de resposta aberta dos
exames nacionais.

Textos com respostas dos estudantes a itens de resposta aberta classificados
pelos professores usando os métodos tradicionais. Estes textos encontram-se em
suportes de papel ou digitais – por exemplo, em textos produzidos com
processadores de texto, em plataformas de ensino ou em formato .pdf, em sítios
da Internet, entre outros. Exclui-se a utilização de programas de
reconhecimento de carateres, Optical Character Recognition (OCR), pelo que
todos os textos manuscritos têm de ser previamente digitalizados antes da sua
introdução no sistema ou então deixados de fora, face ao custo dessa operação.
Todos os textos relevantes são carregados numa BDT – Base de Dados Textual –
através de um Programa de Gestão de Base de Dados (PGBD). Para a estrutura da base de
dados veja o número 3.3. Uma vez na BDT, todos estes textos ficam disponíveis para os
diversos tipos de análise e produção de espaços semânticos especializados.
As análises podem consistir, simplesmente, em contagens dos termos que integram
os textos, em cálculos de índices úteis a diversos usos ou então na criação de
representações vetoriais dos textos e palavras (RVT) que sirvam de base à construção de
Espaços Semânticos (ES) (Landauer, McNamara, Dennis, & Kintsch, 2007) em que
assenta o funcionamento de sistemas de classificação dos textos.
A escolha dos textos específicos a serem usados numa certa análise bem como
daqueles que vão integrar um dado espaço semântico a ser usado na avaliação de
conhecimentos de certa matéria é realizado através do Programa de Interface com o
Utilizador – o programa PIU.
59 Escolhidos estes textos, o programa PLSA começa por identificar todas as palavras
existentes em todos os textos escolhidos para análise (usando um algoritmo de
identificação de “tokens”) elimina as palavras instrumentais ou funcionais (consultando a
tabela PI) e, eventualmente, identificando / extraindo as raízes das palavras através de um
programa de lematização (Rocha & Coelho, 2009; Orengo & Huyck, 2001, & Alvares
2005).
O resultado é uma tabela de frequências que, para cada “forma” – raiz das palavras
retida para análise – dá a frequência de ocorrência dessa forma em cada um dos textos.
Esta tabela de frequências constitui a chamada representação vetorial dos textos
(RVT), a usar no seguimento da análise. Trata-se de uma tabela de contingência contendo
as frequências de ocorrência das palavras ou formas nos textos do corpus.
Esta tabela – de contingência – é em seguida sujeita a várias transformações, antes
de ser submetida à decomposição em vetores e valores singulares através do programa
PSVD (Eckart & Young, 1936; Landauer, et al., 2007).
O resultado da decomposição em valores e vetores singulares (depois de outras
transformações) constitui o chamado Espaço Semântico (Landauer, et al., 2007).
A cadeia de transformações (acima resumidas) que permite passar de um certo
conjunto de textos para o espaço semântico necessário às operações de treino dos
avaliadores de conhecimentos envolve operações computacionalmente demoradas mas
cujos tempos de execução estão a tornar-se cada vez mais reduzidos face à potência
crescente dos computadores pessoais, os únicos que importa considerar neste projeto. O
tempo de processamento depende, entre outras variáveis, do número de textos e da
respetiva extensão expressa em número de palavras, que têm de ser identificadas através da
operação de tokenização, uma das mais demoradas de todo o processo. Deste modo,
convém guardar o resultado desta fase numa base de dados auxiliar de Espaços Semânticos
(ES) – o que permite, no início de uma sessão, retomar o trabalho já realizado, sem ter de
recalcular, de cada vez, o espaço semântico que interessa.
A figura 2.2.1.2. descreve, por sua vez, o processo que, partindo da BDT (Base de
Dados Textual) e ES (Espaços Semânticos) permite obter classificações ou avaliações dos
conhecimentos, acerca da matéria em avaliação, expressos nos textos das respostas dos
estudantes a itens de resposta aberta contidas nos diversos testes. A partir destes espaços
semânticos podem realizar-se, sobre as respostas aos itens usados nos testes, vários estudos
60 úteis à atividade do professor, como por exemplo comparações estatísticas dos textos
produzidos pelos vários estudantes, agrupamentos de textos semelhantes, classificações
dos testes, identificação de grupos de palavras usadas por grupos de estudantes e outros.
Se bem que estas comparações possam ser realizadas diretamente sobre as tabelas
de contingência, considera-se que é mais útil realizá-las sobre os “espaços semânticos”
uma vez que as operações de SVD permitem, como se disse, captar semelhanças
semânticas que escapam completamente à tabela de frequências, ainda que presentes
nessas tabelas de modo implícito. É isto o essencial da abordagem designada por ASL.
Um Programa de Interface com o Utilizador (PIU) permite que este não só
identifique quais são os testes e os itens que vão ser objeto de avaliação como alguns
parâmetros relevantes para essa avaliação, como sejam o Método a usar (Método 1,
Método 2, …, Método k). De entre os parâmetros relevantes para uma experiência,
destaca-se o número de dimensões d a usar nos cálculos subjacentes à classificação
(Landauer & Dumais,1997; Landauer, Laham, & Foltz, 2003; Landauer, et al., 2007).
Os resultados da aplicação desses métodos expressam-se em estatísticas e em
gráficos que dependem do método a usar.
No número 2.5. – metodologia – podem ser vistos os pormenores de dois desses
métodos implementados neste trabalho.
2.2.2. Obtenção da Representação Vetorial dos Textos (Tabelas Léxicas).
Dado um conjunto de textos a analisar estatisticamente (corpus), um passo
preliminar consiste em obter a respetiva representação vetorial (Salton, Wong, & Yang,
1975; Lebart, Salen, & Berry, 1998; Osuna, 2006) sob a forma de uma tabela de
contingência ou tabela léxica que cruza “formas” (palavras ou coocorrências de palavras) e
textos ou documentos, tendo no cruzamento da forma i com o texto ou documento j a
frequência fij com que a forma i ocorre no texto Dj. Ver tabela 2.2.2.1.
61 Formas
D1
D2
…
Dj
…
Dp
…
F1
F2
…
fij
Fi
…
Fn
Tabela 2.2.2.1. Representação vetorial de um corpus formado pelos documentos D1, D2, … Dp e
pelo vocabulário formado pelas formas F1, F2, …, Fn (Osuna, 2006). A obtenção da tabela de contingência ou tabela léxica – elemento essencial da
análise estatística de textos – pressupõe a realização das seguintes tarefas prévias:
1. Identificar e definir as unidades de texto a considerar na análise - em geral
palavras, isto é, sequências de símbolos delimitados à esquerda e à direita por
espaços em branco. Mas podem ser outras formas; por exemplo, duas ou mais
palavras consecutivas (coocorrência de palavras).
2. Eliminar todas os delimitadores que não sejam os espaços em branco: “?”, “!”,
“:”, “,”, “.”, “…” …
3. Eliminar as palavras funcionais ou instrumentais (PI) – preposições, pronomes,
artigos, pronomes e outras, conforme o contexto do estudo.
4. Lematização. Isto é, substituição de palavras por palavras normalizadas, obtidas
por extração das raízes comuns a um conjunto de formas, reduzindo assim o
número de palavras do vocabulário e aumentando a frequência das formas
retidas.
A lematização (Rocha & Coelho, 2009; Orengo & Huyck, 2001;
Alvares, 2005) implica usar uma “peça” de software específico: o lematizador.
Existem lematizadores gerais sendo o ideal usar um lematizador específico para
o português. Neste trabalho usa-se o lematizador descrito em Porter (1980)
sendo escassa a literatura portuguesa acerca deste tema. Ver os trabalhos do
grupo da Faculdade de Ciências de Lisboa NLX (http:// nlx.di.fc.ul.pt/
consultado em 22 de Maio de 2013).
62 A fim de se poder seguir com maior facilidade os conceitos descritos neste número,
e nos números seguintes, considere-se o seguinte exemplo simples, baseado em algumas
respostas abertas à questão: “O que é a Análise da Semântica Latente (ASL)?”
Exemplo 2.2.2.1. (O que é a ASL?)
Considere-se as seguintes respostas (R1 … R5) de cinco estudantes à questão
anterior.
R1 – O conceito de ASL pode ser visto como a aplicação da SVD a uma
tabela de contingência resultante da representação vetorial de um conjunto de
textos.
R2 – A ASL pode ver-se como uma metodologia capaz de representar
geometricamente o significado de um conjunto de textos.
R3 – O essencial do conceito de ASL está no facto de que a técnica ou
metodologia em que se baseia permite expressar geometricamente – através de
ângulos e distâncias – as proximidades psicológicas entre significados dos termos.
R4 – Em termos psicológicos pode dizer-se que a ASL é um modelo das
representações mentais do significado dos termos envolvidos num conjunto de
textos.
R5 – Se a ASL dá conta das associações e proximidades psicológicas
existentes na mente das pessoas entre os significados dos termos e dos textos, então
é difícil resistir à tentação de usar essa metodologia como instrumento de
avaliação de conhecimentos. No fim de contas, o conhecimento que alguém
porventura possua acerca de uma certa matéria deve poder ser expresso em termos
de palavras – representando conceitos e sua relações.
Considerando um espaço semântico – obtido sem lematização – formado
apenas pelos primeiros três textos (R1, R2, R3), a tabela de contingência
correspondente é a seguinte (matriz X):
63 ID
Palavras
R1
R2
R3
1
angulos
0
0
1
2
aplicacao
1
0
0
3
atraves
0
0
1
4
baseia
0
0
1
5
capaz
0
1
0
6
como
1
1
0
7
conceito
0
0
1
8
conjunto
1
1
0
9
contingencia
1
0
0
10
distancias
0
0
1
11
entre
0
0
1
12
essencial
0
0
1
13
expressar
0
0
1
14
facto
0
0
1
15
geometricamente
0
1
1
16
metodolofia
0
0
1
17
metodologia
0
1
0
18
permite
0
0
1
19
pode
1
1
0
20
proximidades
0
0
1
21
psicologicas
0
0
1
22
representaçao
1
0
0
23
representar
0
1
0
24
resultante
1
0
0
25
significado
0
1
0
26
significados
0
0
1
27
tabela
1
0
0
28
tecnica
0
0
1
29
termos
0
0
1
30
textos
1
1
0
31
vectorial
1
0
0
32
ver-se
0
1
0
33
vista
1
0
0
Tabela 2.2.2.2. Tabela de frequência correspondente aos textos do exemplo 2.2.2.1. 64 Esta tabela, adiante designada por X, constitui a representação vetorial –
tabela de contingência Palavras X Textos – que vai ser submetida às operações de
decomposição em vetores e valores singulares, a seguir descritas.
2.2.3. Construção e Interpretação de Espaços Semânticos. Biplots.
A representação vetorial X das palavras versus textos – veja número anterior – é o
ponto de partida para a construção do espaço semântico correspondente (Landauer, Laham,
& Foltz, 2003; Landauer, et al., 2007).
O espaço semântico resulta da decomposição em valores e vetores singulares da
matriz X que contém as frequências das palavras (formas) nos textos do corpus, depois de
eliminadas as palavras funcionais e do processo de lematização, não obrigatório.
Observe-se que cada linha da matriz X é um vetor (de frequências) correspondente
a uma palavra (ou forma), num espaço com tantas dimensões quantos os textos do corpus.
Isto é, X é uma matriz X (n, p) de n linhas por p colunas.
Por exemplo, no caso descrito no número anterior, a palavra “conjunto” fica
representada pelo vetor [1, 1, 0] significando que ocorre uma vez tanto no texto da resposta
R1 como no texto da resposta R2. Isto é, cada palavra fica representada num espaço vetorial
de dimensão p= número de textos do corpus. Neste caso, p= 3.
De modo semelhante, cada texto, por exemplo, o texto da resposta R3 fica
representado por um vetor de frequências de ocorrência das diversas palavras, espaço este
que tem tantas dimensões quanto as palavras (depois da lematização) que ocorrem no
conjunto dos textos. No caso, cada texto (R1, R2, R3) fica representado por um vetor de 33
componentes ou dimensões.
Dada a matriz da representação vetorial dos textos X com n linhas por p colunas,
contendo no cruzamento de uma palavra com um texto o número de vezes com que essa
palavra ocorre nesse texto – a operação de decomposição em valores e vetores singulares
expressa X como o produto de 3 matrizes:
X U D V
( n, p )
T
( n, r ) ( r , r ) ( r , p )
Estas matrizes componentes U, D, VT obtêm-se pelo método dos mínimos
quadrados (Landauer, et al, 2007). As dimensões destas matrizes são, respetivamente,
65 U (n × r)
V (p × r)
e
D (r × r)
Em que n é o número de palavras, p é o número de textos e r é a chamada
característica de X: o número de linhas ou colunas linearmente independentes – um número
que, quando muito, é igual ao mínimo de n e p. No caso da situação de exemplo descrito
no número anterior, r= p= 3.
A matriz U tem tantas linhas quantas as palavras e um número de colunas = r.
A matriz V tem tantas linhas quantos os textos no corpus e um número de colunas
igual a r.
A matriz D (simétrica e com valores apenas na diagonal) tem um número de linhas
e colunas igual a r, contendo na diagonal os chamados valores singulares s1, s2, …, sp. Isto
é:
s1

D= 



s2




...

sr 
Mostra-se – ver, por exemplo, Gabriel (1971) – que os quadrados destes valores
correspondem às variâncias dos fatores (ortogonais) subjacentes à matriz de dados. Isto é, a
2
2
2
soma de s1  s2  ... s p = variância (ou informação) da matriz de dados.
Isto significa que U e V representam, respetivamente, através dos vetores nas
respetivas linhas, as palavras e os textos por vetores com a mesma dimensão: r ≤ min (n,
p).
Por exemplo, na situação do exemplo anterior, se r fosse igual a 2, então tanto as
palavras como os textos ficariam representados por vetores de dimensão = 2 e, portanto,
poderiam ser representados simultaneamente por pontos de um plano.
Se r= 3 (é o caso) então tanto as palavras como os textos ficam representados por
pontos de um espaço de 3 dimensões que se apresenta na figura 2.2.3.1.
66 Figura 2.2.3.1. Os vetores representam os textos R1, R2, R3 e os pontos ○ representam os cinco
locais em que se sobrepõem as 33 palavras. Neste caso, r= min (n, p) = min (33,
3)= 3. Considerando as projeções sobre o plano formado pelos eixos E1 e E2, obtém-se a
figura 2.2.3.2.
Figura 2.2.3.2. Os textos R1, R2, R3 estão representados por vetores e as 33 palavras estão
projetadas no plano E1, E2. Face à sobreposição de palavras com as mesmas
coordenadas, o resultado é pouco legível. As figuras 2.2.3.1. e 2.2.3.2. são exemplos de biplots associados à SVD da matriz
de dados original X.
67 As coordenadas para estas representações obtêm-se diretamente dos vetores que
resultam da decomposição em valores e vetores singulares, de acordo com as metodologias
– definidas por Gabriel (1971) e Galindo (1985) – para a construção de biplots.
Os biplots de Gabriel (1971) obtêm-se usando para as coordenadas das palavras as
linhas da matriz
A = U D
e para as coordenadas dos textos (colunas) as linhas da matriz
B = U D1-
em que  é um número entre 0 e 1.
Observe-se que a decomposição em valores e vetores singulares pode ser
apresentada como
X = U D VT = U D D1- VT = U D (V D1-) T = A B T
em que A = U D e B = V D1-.
As n linhas de A e as p linhas de B contêm vetores que representam,
respetivamente, as palavras e os textos num espaço comum de dimensão r ≤ min (n, p).
O papel de D - e, portanto, dos valores singulares da diagonal respetiva – é o de
definir as escalas dos eixos do gráfico (plano 3-dimensional) em que vão ficar
representados tanto palavras como textos.
Estas representações geométricas em que tanto palavras como textos (linhas e
colunas) de X aparecem na mesma representação gráfica (gráfico de dispersão) em
posições perfeitamente definidas, podem generalizar-se a quaisquer dimensões 1, 2, 3, …,
r – embora apenas possam ser visíveis para r  3.
Exemplo 2.2.3.1. (O que é a ASL? - continuação)
No caso da matriz X com a representação vetorial correspondente aos três
textos R1, R2, R3 tem-se (usando o software referido em Vairinhos, e Galindo
(2004)) a seguinte decomposição:
68 A=
1
-0.324
-0.843
-0.843
-0.429
-0.753
-1.167
-0.753
-0.324
-0.843
-1.272
-0.843
-0.843
-0.843
-0.843
-1.272
-1.272
-0.843
-0.843
-0.753
-0.843
-0.843
-0.324
-0.429
-0.324
-0.429
-0.843
-0.324
-0.843
-0.843
-0.753
-0.429
-0.324
-0.324
2
-0.720
0.514
0.514
-0.466
1.186
-0.207
-1.186
-0.720
0.514
0.048
0.514
0.514
0.514
0.514
0.048
0.048
0.514
0.514
-1.186
0.514
0.514
-0.720
-0.466
-0.720
-0.466
0.514
-0.720
0.514
0.514
-1.186
-0.466
-0.720
-0.720
3
-0.614
-0.158
-0.158
0.774
0.160
-0.772
0.160
-0.614
-0.158
0.615
-0.158
-0.158
-0.158
-0.158
0.615
0.615
-0.158
-0.158
0.160
-0.158
-0.158
-0.614
0.774
-0.614
0.774
-0.158
-0.614
-0.158
-0.158
0.160
0.774
-0.614
-0.614
B=
1
-0.144
-0.195
-3.763
2
-2.683
-1.736
1.913
3
-1.648
2.078
-0.425
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
1
2
3
Empilhando as matrizes A e B numa matriz C – figura 2.2.3.3. – as coordenadas
que permitem a representação gráfica das palavras ocupam as n primeiras linhas da matriz
C e as coordenadas que permitem a representação gráfica dos textos ocupam as posições
n+1, …, n+p da matriz C.
69 Figura 2.2.3.3. A matriz C que se obtém empilhando as matrizes A e B contém os marcadores de
palavras e textos no espaço de dimensão r. Verifica-se pela metodologia indicada anteriormente que, escolhendo duas ou três
colunas da matriz C    - veja figura 2.2.3.3. - podem obter-se representações gráficas
B
A
em que aparecem simultaneamente as palavras e os textos que foram usados para construir
a matriz X.
Dado que estas representações mostram simultaneamente os dois tipos de
informação (linhas e colunas) designam-se biplots (Gabriel, 1971). Contudo, como se vê,
este conceito pode generalizar-se a qualquer dimensão acima de 2, embora os gráficos
correspondentes não possam visualizar-se.
Fica também claro das considerações anteriores que toda a metodologia
computacional correspondente à ASL (Análise da Semântica Latente) que seja baseada na
SVD, fica captada pela metodologia dos biplots, definida em 1971 por Gabriel e, muito
especialmente pelos biplots de Galindo (Galindo, 1985).
Em geral, na expressão da decomposição usada em Gabriel (1971).
X = U D VT = U D D1- VT = U D (V D1-) T = A B T
70 1
2
faz-se   , pondo assim, em pé de igualdade os pesos das representações das palavras e
1
2
dos textos. Para   , palavras e textos ficam representados em referenciais com escalas
distintas.
Galindo (1987) mostra que quando se definem as matrizes A e B através de A = U D
e B = V D então as linhas da matriz C    - veja figura 2.2.3.3. - contêm os chamados
B
A
marcadores (no sistema de coordenadas dos vetores – variáveis latentes e textos) ficando
tanto uns como outros representados com a máxima qualidade possível e sendo agora a
representação uma genuína representação conjunta (num gráfico cujos eixos têm as
mesmas escalas) de palavras (linhas) e textos (colunas).
Mostra-se também em Galindo (1985) que, ao contrário dos biplots de Gabriel
(1971), em que
X = U D VT = A B T, com A = U D, B = V D1- (0 ≤  ≤ 1)
nos biplots de Galindo isto não sucede, tendo-se
Y = (U D) (V D)T= U D2 VT
em que a matriz D2 contém, agora, os valores próprios (variâncias dos eixos fatoriais). É
claro que Y ≠ X e, portanto, esta definição de biplot não permite recuperar a matriz de
dados inicial.
Mostra-se, em Galindo (1985), que essas representações têm as seguintes
propriedades:
1. O cosseno do ângulo entre duas colunas (textos) de X nessa representação
significa o coeficiente de correlação entre as colunas correspondentes. Em
síntese: o cosseno do ângulo entre dois textos é o coeficiente de correlação
entre os vetores representativos dos textos. Isto significa que se dois textos
fazem no gráfico um ângulo muito pequeno, os respetivos significados estão
muito próximos.
2. Nessa representação, a distância entre os pontos representativos de duas linhas é
a distância de Mahalanobis. Isto significa que se duas linhas (palavras) de X
estão representadas como pontos próximos no biplot, então correspondem a
71 linhas semelhantes (palavras) e reciprocamente, linhas muito distintas estarão
nessa representação, muito afastadas.
3. Uma vez que nesta representação palavras e textos estão representados num
sistema referencial (formado pelos eixos fatoriais dotados de escalas idênticas
para linhas/palavras e colunas/textos) então tem sentido definir ângulos (e
cossenos dos ângulos) entre palavras e textos. O cosseno deste ângulo implica
que o significado de uma palavra contribui tanto mais para o significado de um
texto quanto menor o ângulo entre a palavra e o texto. Ou seja: o significado de
uma palavra está tanto mais associado ao significado de um texto – contribui
tanto mais para o significado do texto – quanto menor for o ângulo entre a
palavra e o texto no gráfico. Esta interpretação não é admissível nos biplots de
Gabriel.
Mostra-se em Bellegarda (2007) que os cossenos dos ângulos envolvidos entre as
representações das palavras e textos podem ser calculados como a seguir indicado.
Seja C    (veja figura 2.2.3.3.), se considerarmos a linha genérica ai (i= 1 … n)
B
A
da matriz A e a linha genérica bj (i= 1 … p) da matriz B, tem-se:
ai = ui D
(palavras i)
bj = v j D
(texto j)
em que ui e vj são as linhas genéricas das matrizes U e V, respetivamente (resultantes da
SVD).
O cosseno do ângulo entre os dois vetores representantes de uma palavra de um
texto é Cos ( ai , b j ) 
ai , b j
ai b Tj


ai a iT b j b Tj
ai , ai b j , b j
u
u i D 2 v Tj
i

D 2 v Tj v j D 2 v Tj

.
O cosseno do ângulo entre duas palavras é:
Cos ( a i , a k ) 
u D
i
u i D 2 u kT
2

u iT u k D 2 u kT

.
72 O cosseno do ângulo entre dois textos é:
Cos (b j , be ) 
v
v j D 2 v eT
j

D 2 v Tj v e D 2 v eT

.
Na terminologia de Laudauer, Foltz, e Laham (1998) e Landauer, et al. (2007) a
matriz C    representa então o “espaço semântico” associado a um certo conjunto de
B
A
textos (corpus).
Como pode verificar-se, do ponto de vista computacional, quando a ASL se baseia
na SVD da matriz X, todos os conceitos da ASL podem, com vantagem, ser interpretados
em termos dos biplots de Galindo. A representação conjunta de palavras e textos no
mesmo gráfico tem vantagens consideráveis do ponto de vista da interpretação intuitiva do
que está em causa, uma vez que as proximidades angulares entre os dois tipos de conceitos
em análise (palavras e textos) permite interpretar intuitivamente o significado dos textos
em função do significado das palavras que lhe ficam próximas (no sentido angular); as
relações entre palavras (semelhanças) em função das proximidades angulares e distâncias
entre elas; as proximidades angulares entre textos representando proximidades entre os
respetivos significados. Esta interpretação gráfica intuitiva da operação de decomposição
da matriz de frequências, mantêm-se mesmo que a utilização de grande número de
dimensões – por exemplo 300 dimensões - não permita visualizar os gráficos dos biplots
correspondentes. Contudo, o conceito de ângulo, correlação e toda a interpretação
anteriormente apresentada continua a fazer sentido.
É claro que, de acordo com Landauer (1997) o essencial da ASL está na análise
psicológica do processo de aquisição do significado de novas palavras por parte das
crianças que, conforme resultados experimentais e de simulação desses autores, parece ser
bem modelado pelo mecanismo em que se baseia a operação de SVD, tendo-se concluído
que as proximidades mentais entre os significados das palavras ficam bem representados
por distâncias geométricas obtidos através da SVD – e que no presente trabalho se mostra
que são bem captados através do conceito de biplot, como se pode ver experimentalmente
no Capítulo III.
73 2.2.4. Métodos de Avaliação de Conhecimentos baseados em ASL/Bipolts.
De acordo com Landauer, Foltz, e Laham (1998, 2003) o processo de aquisição de
novos conceitos por parte das crianças parece ser satisfatoriamente modelado usando os
princípios subjacentes à construção das decomposições em valores e vetores próprios de
matrizes retangulares que traduzem a representação vetorial dos textos (Salton, Wong, &
Yang, 1975).
Esta conclusão foi obtida experimentalmente a partir de simulações realizadas
usando esse modelo. Daqui decorre, naturalmente, a tentativa de usar essa metodologia
computacional para avaliar conhecimentos acerca de uma certa matéria que tenham sido
adquiridos através da língua natural e expressos através de relações entre os significados de
palavras relevantes, obtidos durante a aprendizagem.
Isto é, se uma pessoa/estudante obteve conhecimento de algo de relevante acerca de
certa matéria, esse conhecimento – expresso na mente do sujeito através de proximidades
semânticas aprendidas pelos métodos anteriormente descritos, deve revelar-se ou
manifestar-se no que escreve, na escolha das palavras e suas associações em textos de
resposta a questões abertas sobre o tema em avaliação.
A construção da resposta a uma questão aberta implica que o respondente se
esforce por identificar, escolher, as palavras cujos significados estão associados, na sua
mente, ao tema em apreço. Estas associações – corretas ou não – têm a ver com a
qualidade do conhecimento adquirido durante a aprendizagem.
Em síntese (Landauer, & Dumais, 1997; Landauer, Foltz, & Laham, 1998, 2003)
as semelhanças psicológicas entre os significados das palavras associados ao conhecimento
de uma certa matéria tendem a manifestar-se nos textos redigidos pelos estudantes através
de proximidades entre as palavras cujos significados são o suporte desse conhecimento.
Isto significa que o conhecimento adquirido pelo estudante acerca de uma certa matéria
pode, em princípio, ser avaliado examinando as proximidades das palavras usadas nos
textos de resposta (redação/essays) a questões de resposta aberta usando, na análise dos
textos produzidos, exatamente o mesmo modelo computacional que parece estar envolvido
na respetiva aquisição e organização mental – o SVD, nas perspetiva de Landauer.
Como se viu atrás, os resultados de uma análise SVD podem ser expressos de modo
gráfico (biplots) em duas, três ou mais dimensões, se bem que com uma certa perda
quantificável de informação.
74 Landauer, Foltz, e Laham (1998) identificam cinco métodos para atribuir
classificações holísticas a textos de resposta a questões abertas, com base no espaço
semântico construído com os textos usados para a aprendizagem da matéria em causa.
Neste trabalho analisam-se dois métodos principais, relacionados (mas não
idênticos) com o Método 1 (Landauer, Foltz, & Laham, 1998, p. 30) e com o Método 5
(Landauer, Foltz, & Laham, 1998, p. 30) e que passamos a descrever em seguida. Nos
números 3.5. e 3.6. deste trabalho serão apresentados os resultados experimentais acerca da
respetiva utilização.
2.2.4.1. Método 1.
Os passos a usar para implementar este método são os seguintes:
1.º Construir um Espaço Semântico (ES) com base nos textos usados para a
aprendizagem dos estudantes e outros textos escritos por peritos da matéria a
ensinar.
2.º Professores classificam uma certa percentagem das respostas dos estudantes,
constituindo os testes assim classificados uma amostra de aprendizagem do
classificador a construir.
3.º A amostra classificada pelo método tradicional – referida em 2 – é posicionada
no espaço semântico usando um processo de cálculo descrito em Bellegarda
(2007).
4.º Os textos não classificados são, por sua vez, posicionados no ES e classificados
em função da respetiva semelhança – medida pelos cossenos dos ângulos – em
relação aos textos já classificados.
75 O processo é exemplificado usando a tabela, produzida pelo software experimental
desenvolvido:
Figura 2.2.4.1.1. Ilustração do Método 1. Os cossenos dos ângulos entre textos a classificar (lado
esquerdo) e a da amostra de treino (topo) estão no corpo da tabela. Referindo-nos à figura anterior, e às figuras 2.2.1.1. e 2.2.1.2., suponhamos que já
foi construído o ES com base nos textos usados na aprendizagem dos estudantes e que
estão por classificar os textos 11, 12, 14, 15, 17, 18, 20, 21, 23, 24, 26, 27 produzidos pelos
estudantes.
Pelo método tradicional – professor – são classificados os textos 11, 12, 14, 15, 17,
18 aos quais foram atribuídas, por esses professores, respetivamente, as classificações 39,
20, 36, 17, 43, 25.
Em função desta informação e do ES pretende-se atribuir classificações aos textos
(coluna do lado esquerdo) 20, 21, 23, 24, 26, 27.
No passo número 3, os textos classificados pelo professor são posicionados no ES,
usando a metodologia definida, por exemplo, em Bellegarda (2007).
Consideremos, por exemplo, o texto número 23. Esse texto faz com os textos já
classificados – 11, 12, 14, 15, 17, 18 – ângulos cujos cossenos são, respetivamente, 0.94
(com 11), 0.58 (com 12), 0.92 (com 14), 0.78 (com 15), 0.85 (com 17) e 0.52 (com 18). A
classificação 39 foi, neste caso, obtida como sendo igual à classificação do texto com o
qual o texto 23 tem o menor ângulo (maior cosseno), maior semelhança. Isto é: 39.
Outras alternativas são possíveis, como por exemplo, a média dos k textos
classificados mais próximos do texto a classificar (k= 1, 2, 3). Ver a figura 1.4.6.2 do
Capítulo I.
As classificações dos restantes textos são obtidas de modo semelhante.
76 A fim de ter uma ideia da validade do método, neste caso também os testes 20, 21,
23, 24, 26, 27 foram classificados pelo Professor e, no final, foi calculado o coeficiente de
correlação entre as classificações do professor e as atribuídas automaticamente pelo
algoritmo descrito, tendo-se obtido, neste caso específico, o valor 0.908, também,
apresentado na figura 2.2.4.1.1.
O significado geométrico do processo descrito pode ver-se no esquema da figura
2.2.4.1.2. a seguir apresentada.
Figura 2.2.4.1.2. Biplot 3D correspondente ao Método 1. Na figura, T1, T2, …, T15 são textos e W1,
W2, …, W27 são palavras do ES. O símbolo “?” corresponde a um texto cuja classificação é desconhecida.
A figura 2.2.4.1.2. é apenas um esquema explicativo para veicular o significado
geométrico do que está em causa. Corresponde a um biplot em 3 dimensões (assumindo
neste caso – o que é geralmente muito irrealista – que essas 3 dimensões captam a
totalidade da informação). As setas pintadas a verde correspondem a textos classificados
com valores 12, 14, 15, …, etc.
Uma vez que o texto cuja classificação se pretende atribuir forma um ângulo de
cosseno máximo com o texto classificado com 15, então, se o critério for este, a
classificação seria 15.
77 Contudo, se a regra a implementar fosse a de atribuir como classificação a média
dos k= 3 textos classificados mais próximos (com maiores cossenos), o resultado a atribuir
ao texto identificado por “?” seria
(14 + 15 + 12) / 3  14.
Numa situação real, as dimensões envolvidas são da ordem das dezenas, pelo que
um gráfico cartesiano para biplots com dimensão n-D, com n > 3 não são visualizáveis
(Landauer et al., 1993). Contudo, pode-se construir um chamado biplot cilíndrico
(Vairinhos & Galindo, 2012) em que, usando um gráfico de coordenadas paralelas
correspondente aos eixos fatoriais subjacentes à SVD é possível visualizar um biplot em
espaços de dimensão muito elevada se bem que não tão intuitivos quanto os gráficos
cartesianos habituais. Nesse biplot, tanto textos como palavras são representados por
trajetórias.
2.2.4.2. Método 2.
Neste Método 2 – à semelhança do que sucede com o Método 5, mencionado em
Landauer, Foltz, e Laham (1998) – apenas se usam os textos dos estudantes e o texto da
resposta do professor à questão posta. A ideia básica é modelar a preferência do professor
pela resposta do estudante usando como critério o cosseno do ângulo entre a resposta do
estudante e a resposta do professor: quanto maior esse cosseno (menor o ângulo) maior a
“consonância” / preferência entre a resposta do estudante e a resposta do professor. Como
variante deste método também se pode medir a distância da resposta estudante-professor e
usar essa distância como critério de preferência do professor pela resposta do estudante.
Considera-se que este método pode ter interesse para apoiar o professor nos
processos
de
avaliação
formativa,
objetivando
comparações
entre
textos,
estudante/professor. O que faz com que este método possa, eventualmente, ser usado na
monitorização da absorção de conhecimentos transmitidos pelo professor em aulas
presenciais mas não em avaliação global que tem carácter absoluto por pretender comparar
os conhecimentos do estudante com um referencial absoluto (o espaço semântico formado
a partir dos textos de ensino).
A vantagem consiste em poder ser facilmente operacionalizável, uma vez que exige
como únicos inputs peças de informação obrigatoriamente presentes as respostas dos
78 estudantes e a resposta do professor às questões que ele próprio formulou, não implicando
a classificação prévia de parte dos textos.
Posto isto, o método de classificação consiste nos passos seguintes:
Método 2.
1. Construir um espaço semântico (só de estudantes) usando a matriz X que é a
representação vetorial das palavras e textos dos estudantes.
2. Sobre o espaço semântico obtido em 1 posicionar a resposta do professor, ou os
textos de resposta do professor ou vários professores, usando a metodologia
definida em Bellegarda (2007).
3. Obter os cossenos dos ângulos entre os textos dos professores e os textos de
cada uma das respostas dos estudantes e calcular a nota do texto a classificar em
função destes valores.
A ideia subjacente é a de que, quanto menor o ângulo entre o texto de uma
estudante e o texto do professor, maior a preferência do professor pelo texto do
estudante.
4. Ordenar estas classificações.
Na figura 2.2.4.2.1. está explicada a interpretação geométrica deste método.
Ver também figura 3.7.5., no Capítulo III.
79 Figura 2.2.4.2.1. Os textos dos estudantes são representados pelos vetores (marcadores) t1, t2, …, t10.
O texto da resposta do professor está representado pelo vetor Tp. A classificação
do estudante t5 é função do cosseno do ângulo  entre esse texto e o vetor Tp. 2.3.
Estruturação da Amostra.
A principal questão de inferência subjacente a este estudo tem a ver com a questão
da validade do uso dos métodos de classificação automática. Seguindo a literatura sobre o
tema (Landauer, Foltz, & Laham, 1998, 2003; Landauer, et al., 2007; Islam & Hoque,
2010; Yang, Buckendahl, Juszkiewicz, & Bhola, 2012) como se viu na Introdução, a
generalidade dos autores sugere como critério de validade dos métodos de avaliação
automática de conhecimentos baseados em testes de resposta aberta o coeficiente de
correlação entre as classificações atribuídas por professores e as classificações atribuídas
pelos sistemas automáticos de classificação. Também se relaciona esse coeficiente de
correlação R (sys, Prof) com o coeficiente de correlação entre as classificações atribuídas
por professores diferentes R (Prof, Prof).
Para que um sistema seja considerado aceitável o coeficiente de correlação R (sys,
Prof) deve ser elevado e significativamente diferente de zero; além disso, R (sys, Prof)
deve ser da ordem de grandeza ou superior a R(Prof, Prof).
80 Isto significa que ao estruturar a amostra, o fator anterior (validade) e portanto a
significância do coeficiente de correlação deve ser a principal consideração em causa; mais
do que generalizar a toda a população alvo (neste caso, estudantes que usem a língua
portuguesa como instrumento de aprendizagem da matéria a avaliar), a principal
preocupação é garantir que os coeficientes de correlação obtidos são significativos e o mais
elevado que for possível.
Tendo em conta as considerações anteriores e os recursos com que esta
investigação contou – apenas os recursos do investigador – foi considerado que uma
amostra de cerca de 600 respostas a questões abertas constantes dos exames nacionais de
Português de três escolas escolhidas ao acaso poderiam gerar a evidência suficiente para a
maior parte dos estudos a realizar.
Para os testes em apreço teriam de ser obtidos os enunciados dos exames, os
critérios de classificação dos testes, as respostas dos estudantes a cada uma das alíneas de
resposta aberta e classificações atribuídas pelos professores contratados para avaliarem as
respostas e ainda os manuais de ensino usados no estudo dos estudantes para se prepararem
para esses exames específicos.
Além deste dados deveriam ainda essas respostas serem avaliadas por outros
professores – contratados agora pelo investigador – usando os mesmos critérios e critérios
de avaliação holística – por forma a conhecer em que medida o critério de avaliação
(holístico versus critério clássico) e o professor influenciavam os resultados.
2.4.
Plano de Recolha de Dados.
Tendo em conta as limitações já referidas em 2.3. e tendo ainda em conta que a
principal questão de inferência (generalização) a partir dos dados se prende com a
significância do coeficiente de correlação entre os resultados de uma classificação
automática e as classificações a atribuir aos mesmos testes por professores humanos, o
plano estabelecido foi o seguinte:
1.
Escolher ao calhas três escolas secundárias a que a autorização do Ministério da
Educação nos permitiu aceder e registar, em suporte magnético, os textos
manuscritos dos testes disponíveis nessas escolas, garantindo pelo menos 600
respostas a questões de resposta aberta. Os dados assim obtidos são designados no
81 que se segue por EXMIN e incluem não só as respostas dos estudantes como os
textos usados por esses estudantes no ano letivo a que se reportam esses exames.
2.
Transcrição dos textos manuscritos em papel para um suporte magnético garantindo
a não utilização do corretor ortográfico, por forma a que o texto a estudar pelo
software a desenvolver corresponda ao que foi produzido pelos estudantes, sendo o
mesmo com que os professores a contratar para realizar as correções têm de lidar.
Terminada a transcrição, os textos gerados pelo processador de texto – em geral o
WORD da Microsoft – são carregados, usando o software a desenvolver no âmbito
do projeto, na BDT – ver figura 2.2.1.1. – ficando disponíveis para os testes do
software e para estudos de validação.
3.
Nessa BDT são carregados não só os textos das respostas dos estudantes como os
textos dos manuais usados no ensino dos estudantes cujas respostas são usadas no
estudo.
4.
Além dos textos, é carregada na BDT informação auxiliar que permita identificar os
textos, seu autor e o contexto em que as respostas foram produzidas, de modo a
permitir relacionar os resultados e das análises dos textos com outras variáveis.
Desta informação auxiliar fazem parte as classificações atribuídas às respostas
pelos professores contratados pelo Ministério da Educação e também as
classificações atribuídas a essas mesmas respostas por professores a contratar pelo
investigador para o mesmo efeito.
5.
Por contacto pessoal junto de um professor de gestão de um instituto politécnico foi
possível aceder às respostas manuscritas – no contexto de uma avaliação formativa
– de cerca de duzentos estudantes na resposta a uma questão relativa ao conceito de
Qualidade Total, bem como ao texto usado no estudo dessa matéria. Esses dados,
de carácter puramente observacional, são também carregados na BDT, servindo
essencialmente para verificar os aspetos operacionais do programa a implementar
na concretização do sistema descrito em 3.2. No que se segue, estes dados são
designados por GESTÃO.
6.
Por contacto pessoal junto do orientador desta tese foi também possível aceder aos
textos das respostas de 17 estudantes do ensino superior relativas aos fatores de
disciplina / indisciplina em sala de aula.
82 Trata-se também de dados observacionais úteis para validar certos aspetos
funcionais do sistema a implementar. Estes dados são também carregados na BDT e
serão designados no que se segue por DISCIPLINA.
Em síntese, à exceção dos dados EXMIN, que permitem, em princípio, aplicar
inferência estatística ao coeficiente de correlação (sys, Prof), todos os dados restantes têm
carácter observacional que, se bem que não permitam justificar teoricamente
generalizações para lá dos dados, permitem contudo sujeitar o programa a implementar a
uma gama variada de situações que permitam testar o seu funcionamento e ilustrar a
respetiva funcionalidade em condições reais.
2.5.
Metodologia Estatística de Tratamento de Dados.
Recolhidos e registados esses dados numa Base de Dados Textual (BDT) as
metodologias a usar para o seu tratamento estatístico são as seguintes:
1.
Estatística descritiva univariada das principais variáveis, a saber:

Distribuição da amostra por disciplina, classificação do professor,
comprimento do texto, disciplina, curso.

Distribuição dos resultados obtidos nos testes classificados por professores
ao nível de cada uma das questões de resposta aberta.

Distribuição das classificações atribuídas pelos professores contratados para
reapreciarem as provas previamente classificadas ao nível das questões de
respostas abertas.
2. Estudos bivariados:

Relacionar, usando tabelas de contingência, coeficientes de correlação ou
gráficos de dispersão e os resultados obtidos pelo sistema com as
classificações
atribuídas
por
professores
diferentes,
calculando
a
significância dos coeficientes de correlação.
3. Utilização dos biplots de Galindo para expressar graficamente os Espaços
Semânticos usados no estudo das diversas metodologias de classificação e para
estudar as relações entre textos e palavras usadas na representação vetorial dos
textos. Face à elevada dimensionalidade dos espaços de representação (sempre
83 superior a 3 o que torna impossível a visualização completa da informação)
estes biplots são usados como auxiliares da intuição geométrica tanto na
compreensão dos métodos como na interpretação dos resultados.
4. Utilização de métodos de análise classificatória (análise de “clusters”) usando
as coordenadas dos textos resultantes da decomposição SVD para detetar
agrupamentos homogéneos de textos de resposta dos estudantes e que traduzam
resultados das comparações desses textos dois a dois.
84 Capítulo III: Recolha e Análise de Dados.
3.1.
Introdução.
Como se viu no Capítulo I – Metodologia – este estudo pode ser classificado como
um estudo fundamentalmente observacional destinado a recolher evidências acerca da
possibilidade de usar técnicas de análise estatística de textos em tarefas de ensino –
aprendizagem num contexto escolar.
Não sendo um estudo experimental em que o investigador tem total controlo sobre
as condições de observação (quando, quem, como e em que condições) procurou-se, isso
sim, obter dados reais característicos dos ambientes – alvo das metodologias
eventualmente saídas deste estudo – dando cumprimento às indicações em 2.3.
Foi, pois, decidido que seriam obtidos textos de resposta de estudantes portugueses
do 12º ano a questões abertas integrantes dos exames nacionais de algumas disciplinas –
como Filosofia, Português, História – em que os conhecimentos adquiridos são expressos
em português.
Inicialmente foi também equacionada a possibilidade de utilização de textos de
resposta a questões abertas constantes de plataformas eletrónicas de ensino. A grande
vantagem dessa abordagem seria o facto de os textos produzidos pelos estudantes e
professores se encontrarem já digitalizados, reduzindo enormemente o esforço financeiro
da investigação, o tempo necessário à preparação dos dados e aumentando a dimensão da
amostra.
Infelizmente, insuspeitadas dificuldades relacionadas com a legislação sobre
privacidade e outras, levaram-nos a abandonar essa hipótese.
Concentrámo-nos, pois, na possibilidade de obter textos produzidos por estudantes
do ensino secundário ao responderem às provas dos exames oficiais de um ano
suficientemente afastado da atualidade para reduzir as reticências ao respetivo acesso.
Obtida uma carta de apresentação do Ministério de Educação, escolheram-se três
escolas ao acaso e obteve-se o acesso a fotocópias de n= 200 respostas a dois grupos de
questões constantes dos exames nacionais de Português, História, Filosofia, entre outras,
de 2008 dos estudantes das escolas em causa – num total de cerca de 600 textos gerados
85 pelas respostas dos estudantes (ver em 3.5. a caracterização das amostras) – no que se
segue designados por dados EXMIN. Também se obtiveram os dados observacionais das
duas outras fontes citadas em 2.3.: dados de resposta a uma questão de gestão de uma
turma de um curso de Gestão num instituto politécnico (dados GESTÃO) em resposta a
uma questão de qualidade e ainda as respostas de 17 estudantes de um curso superior
relativas aos fatores de indisciplina na sala de aula (DISCIPLINA).
No site do Ministério de Educação (GAVE) http://bi.gave.min-edu.pt/exames/
exames/eSecundario/524/?listProvas (2008 | 2ª fase) pode consultar-se o enunciado desse
exame, bem como as cotações da prova. Os itens com resposta aberta eram os relativos ao
Grupo I partes A e B e Grupo III com cotações, respetivamente,
Grupo I A – 70 pontos
Grupo I B – 30 pontos
Grupo III – 50 pontos.
A cotação total do teste – abrangendo também questões de resposta múltipla e
associação era de 200 pontos.
No número 3.5. pode ver-se um resumo estatístico da amostra de textos obtida.
Para lá dos textos das respostas dos estudantes aos exames finais do Ministério de
Educação, registaram-se ainda os resultados atribuídos por professores contratados pelo
Ministério da Educação para classificar os testes.
Desde já se observa que o tipo de classificação especificada pelo Ministério da
Educação nas regras de cotação, entra com fatores como a organização, a correção
linguística, a estruturação temática e está relativamente afastada do tipo de observação
holística que se recomenda para este tipo de metodologia (Landauer, Foltz, & Laham,
2003).
Integravam também este conjunto de dados a analisar os textos dos manuais de
ensino, nomeadamente, textos de guias de ensino e interpretação dos textos literários
envolvidos nos exames: os Lusíadas de Luís Vaz de Camões, o Memorial do Convento de
José Saramago, poesia de Fernando Pessoa.
Usou-se para esta tarefa os manuais bastante difundidos entre os estudantes do ano
letivo em causa.
86 Além destes elementos de informação, considerou-se ainda necessário pedir a
colaboração de uma Professora de Português do Ensino Secundário, a quem foi pedido que
classificasse 60 textos de Português usando um critério holístico, mais consentâneo com o
recomendado para este tipo de estudos.
No número 3.9.6. é apresentado um estudo comparativo das classificações
atribuídas pelos professores do Ministério da Educação e pela Professora por nós
contratada.
3.2.
Recolha e Registo de Dados.
Sendo certo que todos os dados – pelas razões referidas – estavam em suporte de
papel e eram constituídos – com exceção dos textos dos manuais de ensino – por textos
manuscritos, a sua preparação para registo e posterior gravação em suporte digital revelouse uma tarefa extremamente morosa e cara, uma vez que implicou a transcrição a partir dos
textos fotocopiados e a posterior verificação para garantir uma fiabilidade total na
transcrição, tendo sido necessário montar durante meses um pequeno serviço de apoio. Foi
decidido não aplicar o corretor ortográfico nem corrigir erros gramaticais, por mais
evidentes que fossem; procurou-se, isso sim, garantir que o texto a analisar fosse idêntico
ao texto produzido pelo autor.
Inicialmente, por uma questão de facilidade e rapidez da tarefa de transcrição,
foram produzidos ficheiros de texto usando um processador de texto. Numa segunda fase,
os textos produzidos pelo processador de texto foram carregados, juntamente com os
elementos de informação adicionais, numa base de dados desenvolvida para este projeto.
Veja número seguinte.
Na figura 3.2.1. apresenta-se um exemplar desse tipo de ficheiro de texto.
87 Figura 3.2.1. Texto relativo ao estudante identificado pelo número convencional 0385, relativo ao
Exame da Português do 12º ano, Curso Científico-Humanísticos, depois de
transcritos a partir do original manuscrito. 3.3.
Estrutura da Base de Dados Textual (BDT).
Uma vez transcritos e verificados os textos das respostas para suporte digital, esses
dados foram seguidamente carregados numa base de dados textual (BDT) de acordo com o
especificado na figura 2.2.1.2.
Essa base de dados foi desenvolvida tendo em conta apenas as necessidades desta
investigação, do desenvolvimento de um protótipo com funcionalidade pensada e
88 otimizada para permitir a realização das experiências necessárias ao estudo. A criação de
um sistema para uso operacional exige desenvolvimentos específicos aqui não abordados.
A tabela principal em que foi armazenada a informação da amostra tem a estrutura
caracterizada pelos seguintes campos (ver manual do PAET, em Anexo A):
IDTEXTO – Número sequencial identificador do texto.
TEMA – Indica a que tema se refere o texto (Português, Filosofia, História, etc.)
TITULO – Nome do exame a que se referia ou título do manual.
AUTOR – Número convencional do respondente (estudante que fez o exame ou
autor do manual).
DATA – Data do exame ou data da edição do manual.
TIPTEXT – Tipo de texto
A – Reposta do Estudante
P – Texto produzido por um Professor
AP – Manual de Aprendizagem
PARTE – Grupo I, Grupo II, etc.
SPARTE – Subparte – A, B, C, etc.
TEXTO – Texto do estudante, do professor ou do manual.
CLASPROF – Classificação do professor (quando conhecida). A BDT foi desenvolvida em Microsoft ACESS 2003, tendo-se usado campos do
tipo MEMO para armazenar os textos completos das respostas dos estudantes e textos de
ensino.
Com esta estrutura é possível guardar na mesma tabela as respostas dos estudantes,
os textos produzidos pelos professores para fins didáticos, as respostas dos professores às
questões colocadas, os manuais de ensino e, inclusivamente, textos dos escritores e outros
autores, quando disponíveis.
89 Dado o volume de informação e a sua variedade, considerou-se útil separar, em
tabelas diferentes embora com a mesma estrutura, a informação relativa às respostas dos
estudantes, dos manuais, e dos textos produzidos pelos professores.
Na figura 3.3.1. apresenta-se o ecrã principal de consulta e registo de dados do
programa protótipo desenvolvido para apoio da investigação. Ver em Anexo A o manual
de utilização.
Figura 3.3.1. Consulta de um texto de resposta de um estudante. No lado esquerdo os elementos
que permitem identificar o texto. Do lado direito o texto. Além desta tabela constante na BDT, foi também criada a seguinte tabela – veja
figura 3.3.2. – relativa às palavras a excluir (palavras funcionais) ao extrair as palavras dos
textos.
Figura 3.3.2. Palavras funcionais, separadores e outros símbolos a excluir da análise. 90 Na figura 3.3.3. apresenta-se um exemplo com algumas dessas palavras funcionais,
separadores e outros símbolos a excluir da análise lexicográfica.
Figura 3.3.3. Exemplo de palavras funcionais, separadores e outros símbolos. No apoio à execução destas tarefas considera-se muito útil a informação do site
http://www.iltec.pt/ do ILTEC – Instituto de Linguística Teórica e Computacional
(consultado em 4 Dez 2012), bem como o site http://www.portaldalinguaportuguesa.org/
(Portal da Língua Portuguesa).
Estes dois sites do ILTEC oferecem recursos – nomeadamente artigos científicos –
de grande interesse para apoio de investigação futura nesta área.
3.4.
Criação de Instrumentos de Análise Estatística de Textos.
Embora exista software de uso geral que permite realizar algumas das tarefas
implícitas no esquema das figuras 2.2.1.1. e 2.2.1.2. relativas ao modelo a implementar, o
facto é que desde logo se considerou necessário desenvolver software integrado que
91 permitisse realizar, em ambiente interativo, com comodidade, as tarefas de análise textual
seguintes:
1 – Gestor da base de dados BDT.
2 – Toquenizador.
Programa que permite, dado um texto, identificar todas as sequências de caracteres
separadas por espaços em branco (ou outros símbolos separadores).
3 – Lematizador.
Programa que permite extrair a raiz comum de um conjunto de palavras.
4 – Programa para construção da representação vetorial dos textos.
Programa que permite transformar um texto numa matriz de contingência contendo
no cruzamento de uma linha correspondente a uma palavra (ou forma) com uma coluna
correspondente a um texto, a frequência com que essa palavra ocorre nesse texto.
5 – Programa de decomposição SVD – Singular Value Decomposition.
Programa que decompõem uma matriz X contendo a representação vetorial de um
texto ou conjunto de textos num produto de três matrizes UVT em que U e V são matrizes
contendo nas suas linhas – respetivamente – representações vetoriais, de dimensão
reduzida, das palavras e dos textos e  uma matriz quadrada, diagonal, contendo os valores
singulares da decomposição, por ordem decrescente.
6 – Programa para construção do Espaço Semântico - ES.
Programa que usando os resultados da decomposição SVD gera uma matriz cujas
linhas são marcadores das palavras e dos textos num espaço comum de baixa dimensão.
Ver Capítulo I – Metodologia.
Os marcadores usados neste trabalho correspondem ao biplot de Galindo (Galindo,
1985) e têm a expressão U para as palavras (isto é, cada palavra retida para análise (Wi, i=
1…n) é representada pelo marcador bi= ui , i= 1…n, em que U e  resultam da SVD e em
que os textos são representados pelas linhas de V, sendo cada texto representado pelo
marcador bj= vj , i= 1…p.
92 Tanto aj como bj são representados por vetores de um espaço de baixa dimensão r,
sendo r= característica de X  min (n, p) em que n é o número de palavras identificadas e
retidas depois das operações de toquenização e lematização e p o número de textos.
7 – Programa de Biplots.
Programa para realizar a representação gráfica dos espaços semânticos tanto em
coordenadas retangulares (cartesianas) como paralelas.
Com exceção dos programas de lematização e SVD, todo o restante software teve
de ser desenvolvido de raiz ou adaptado no âmbito do projeto.
O programa SVD resultou de uma adaptação às necessidades deste trabalho de um
programa de Sergey Bochkanov (projeto ALGLIB®). Ver http://www.alglib.net
(consultado em 01 de Julho de 2010)
Quanto ao programa de lematização foi usado o lematizador “universal” de Porter.
Ver http://tartarus.org/~martin/PorterStemmer/ (consultado em 20 de Novembro de 2010)
Na implementação do programa foram ainda usados alguns procedimentos da
biblioteca Software Development Lohninger (SDL) que pode ser consultado em
http://www.lohninger.com/ (consultado em 01 de Julho de 2011).
A preocupação neste projeto foi a de criar um laboratório experimental que
permitisse testar algumas ideias relativas ao uso da análise estatística de testes usando
textos de resposta a questões abertas, não tendo havido grandes preocupações de
otimização.
Em particular, considera-se importante, em futuros trabalhos, desenvolver uma
lematização mais adequada aos problemas do português.
3.5.
Resumo Estatístico das Amostras.
3.5.1. Dados EX-MIN – Exames do Ministério.
Recorde-se que se trata de respostas ao exame de Português de 2008 (2ª Época) e
que este exame comportava três grupos dos quais o Grupo I abrangia duas questões (A e B)
relativas ao Memorial do Convento de José Saramago e um Grupo III também com uma
questão de resposta aberta relativa a outros autores. Ver um exemplar no site do Ministério
de
Educação
(GAVE)
http://bi.gave.min-edu.pt/exames/exames/eSecundario/524/
93 ?listProvas (2008 | 2ª fase). A cotação total do teste era de 200 pontos dos quais 70
afetados ao Grupo I A), 30 relativos ao Grupo I B) e 50 pontos relativos ao Grupo III.
No que se segue, o significado das variáveis usadas nos quadros e gráficos é o
seguinte:
Variante – É a variante do enunciado do exame de português, conforme a origem
dos estudantes.
Alínea – A) ou B) do Grupo I.
Grupo – Grupos G1, G2, G3.
ClassProf – Classificação atribuída pelo professor contratado pelo Ministério.
NCaract – Número de caracteres do texto da resposta do estudante.
Considerando a totalidade da amostra, a respetiva estrutura consta da tabela
3.5.1.1.
GRUPO
A)
B)
Total
G1
---
183
180
363
G2
198
---
---
198
Total
198
183
180
561
Tabela 3.5.1.1. Distribuição da amostra. Dispõe-se, assim, de um total de 561 textos distribuídos por três agrupamentos
praticamente da mesma dimensão.
Considerando agora apenas os textos da resposta ao grupo G1, alínea A), a tabela
3.5.1.2. resume os valores das classificações do professor e do número de palavras no texto
para os textos de resposta à A).
Nº Textos
Mínimos
Máximo
Média
DP
ClassProf
183
0
70
34.47
183
NCaract
183
25
4603
1767.38
699.7
Tabela 3.5.1.2. Resumo das classificações do professor e do comprimentos dos textos de resposta
à A). 94 As tabelas 3.5.1.3. e 3.5.1.4. apresentam os valores correspondentes para B) e para
o grupo G3.
Nº Textos
Mínimos
Máximo
Média
DP
ClassProf
180
0
30
14.39
8.3
NCaract
180
19
1404
712.78
166.5
Tabela 3.5.1.3. Resumo das classificações do professor e do comprimentos dos textos de resposta
à B). Nº Textos
Mínimos
Máximo
Média
DP
ClassProf
198
0
48
25.7
11.2
NCaract
199
119
2795
1445.0
357.9
Tabela 3.5.1.4. Resumo das classificações do professor e do comprimento dos textos de resposta
ao Grupo III. A distribuição das variáveis ClassProf e NPalTexto nesses três agrupamentos
aparecem, respetivamente, nas figuras 3.5.1.1. a 3.5.1.6.
95 Figura 3.5.1.1. Distribuição das classificações do professor na A). Figura 3.5.1.2. Distribuição das classificações nos textos de resposta à B). 96 Figura 3.5.1.3. Distribuição das classificações do professor nos textos de resposta ao G3. Figura 3.5.1.4. Distribuição do número de palavras no texto para as respostas à A). 97 Figura 3.5.1.5. Distribuição do número de palavras no texto para as respostas à B). Figura 3.5.1.6. Distribuição das classificações do professor nos textos de resposta ao G3. 98 A fim de detetar alguma eventual relação ou influência entre as classificações
atribuídas pelos professores e o comprimento do texto expresso pelo número de caracteres,
número dos textos, seguidamente apresenta-se, para as respostas a cada alínea (A, B) do
Grupo I e para o Grupo II, a correlação entre ClassProf e NCaract, bem como gráficos de
dispersão, que mostram que no caso A) e Grupo III há efetivamente uma relação
significativa entre o resultado da classificação e o comprimento da resposta. Isto deve
querer dizer, simplesmente, que os estudantes que têm maior conhecimento da matéria
tendem a escrever mais do que os outros.

Para as respostas à A), obteve-se:
Correlação (ClasProf, NCaract) = 0.464
(Significativo)
(Significância = 0.000)

Para as respostas à B), obteve-se:
Correlação (ClasProf, NCaract) = 0.115
(Não Significativo)
(Significância = 0.124)

Para as respostas ao Grupo III, obteve-se:
Correlação (ClasProf, NCaract) = 0.377
(Significativo)
(Significância = 0.009)
As figuras 3.5.1.7., 3.5.1.8. e 3.5.1.9. apresentam os gráficos de dispersão das
variáveis (ClassProf, NPalTexto).
99 Figura 3.5.1.7. Gráfico de dispersão ClassProf, NPalTexto para A). Deteta-se uma certa tendência
crescente. Figura 3.5.1.8. Gráfico de dispersão ClassProf, NPalTexto para B). Não há relação percetível. 100 Figura 3.5.1.9. Gráfico de dispersão ClassProf, NPalTexto para o Grupo III. Tendência crescente. 3.5.2. Dados GESTÃO.
Estes dados correspondem a respostas de estudantes universitários da cadeira
Gestão de um Instituto Politécnico em que era pedida a caracterização do conceito de
Qualidade Total sendo o número total de respostas disponíveis (número de textos válidos)=
187.
A tabela 3.5.2.1. resume as variáveis Classificação do Professor e Número de
palavras no texto (comprimento).
Nº Textos
Mínimos
Máximo
Média
DP
ClassProf
187
0
100
42.8
22
NCaract
217
0
2059
584
391
Tabela 3.5.2.1. Caracterização das variáveis classificação do professor e número de palavras dos
textos de resposta. As figuras 3.5.2.1. e 3.5.2.2. apresentam os histogramas das variáveis ClassProf e
NPalTexto.
101 Figura 3.5.2.1. Histograma da classificações dos professores. Figura 3.5.2.2. Histograma dos comprimentos dos textos em número de caracteres. 102 Para estes dados a correlação – significativa – entre as classificações do professor e
o número de palavras nos textos (comprimento) é 0.549 (significância= 0.000).
Na figura 3.5.2.3. está o gráfico de dispersão respetivo.
Figura 3.5.2.3. Gráfico de dispersão das classificações do professor em função do número de
caracteres dos textos. Tendência crescente. Fazem-se aqui as mesmas considerações feitas a propósito dos dados EX-MIN.
Possivelmente, os estudantes que mais sabem suster a necessidade de escrever mais e,
fazem-no.
3.5.3. Dados DISCIPLINA.
Trata-se de 17 textos – não classificados pelo professor – cujo histograma relativo
ao número de palavras se apresenta na figura 3.5.3.1.
103 Figura 3.5.3.1. Histograma da distribuição do número de caracteres do texto (comprimento). Verifica-se que o número médio de caracteres oscila entre 505 e 2415, sendo a
média 1365 (DP= 609).
3.6.
Comparação de Textos. Análise Descritiva.
Do ponto de vista do apoio aos professores no exercício das respetivas atividades
letivas – nomeadamente no desempenho de tarefas ligadas à avaliação contínua baseada
em respostas a questões abertas – têm muita importância as tarefas de comparação dos
textos produzidos pelos estudantes, Por exemplo, a comparação dos textos produzidos por
dois estudantes ao responderem à mesma questão ou a comparação de dois textos
produzidos pelo mesmo estudante em instantes diferentes. A primeira situação surge
frequentemente quando se pretende classificar respostas a testes de avaliação formativa.
A segunda questão quando se pretende avaliar objetivamente a evolução de um
indivíduo ou conjunto de indivíduos.
Existirão diferenças no vocabulário usado pelos dois estudantes? Em que consistem
essas diferenças e são elas relevantes para comparar os conhecimentos e comportamentos
dos mesmos? Existe alguma evolução na linguagem usada pelo mesmo estudante ou por
uma certa turma? Em que consiste essa evolução?
104 No que se segue, apresentam-se exemplos que documentam o uso dos instrumentos
de análise de textos desenvolvidos e integrados no programa designado coletivamente por
PAET (Programa de Avaliação Estatística de Textos). Ver o Anexo A o respetivo manual.
Neste número ilustra-se a sua utilização na comparação de textos.
No exemplo a seguir analisado usam-se, a título ilustrativo, dois textos de resposta
a uma questão relativa ao conceito de qualidade total dos estudantes de um curso de gestão
– dados GESTÃO. Ver descrição dos dados em 3.2. (Recolha e Registo de Dados). Como
se viu, o número de respostas à questão colocada é cerca de 200. A comparação destes
textos dois a dois implicaria realizar 200150= 30.000 comparações. Se cada comparação
implicasse 0.5 minuto (muito pouco tempo) isso significaria cerca de 11 dias (24 horas) de
trabalho contínuo.
Na prática, os professores leem um teste de cada vez e procuram – socorrendo-se da
memória, da capacidade de raciocínio e da experiência – ser coerentes ao atribuir uma
classificação com base nessa leitura e nas leituras das respostas já realizadas – sendo quase
inevitável um processo de aprendizagem do professor que leva a que os últimos testes
estejam a ser classificados com critérios “ligeiramente” diferentes dos iniciais.
Acredita-se que um professor competente e sério é inultrapassável na capacidade de
realizar estas comparações tendo em conta toda a informação relevante de que dispõe (as
respostas, os conhecimentos, a experiência, o conhecimento dos estudantes e do contexto
de ensino) levando em conta questões inacessíveis a sistemas automáticos (qualidade da
linguagem, estilo, etc.). Contudo, limitações bem conhecidas da Psicologia –
impossibilidade prática de raciocinar sem erro quando o número de conceitos na memória
de trabalho excede um certo limiar (cerca de 7) bem como a limitação da própria
capacidade dessa mesma memória de trabalho.
No exemplo que a seguir se expõe para ilustrar estas questões apresenta-se também
como os instrumentos desenvolvidos em apoio desta tese (ver programa PAET – programa
de Análise Estatística de Textos, em Anexo) permitem realizar eficazmente este tipo de
comparações, usando recursos ao alcance da generalidade dos professores.
Na figura 3.6.1. apresentam-se os dois textos das respostas de dois estudantes do
curso de Gestão a que nos referimos em 3.2. a propósito dos dados.
105 Pedia-se aos estudantes, no contexto de uma avaliação formativa que, sem apoio de
qualquer documento de consulta, caracterizassem o conceito de gestão baseada na
Qualidade Total apresentada nas aulas.
Resposta do Estudante nº. 1
F
A gestão pela qualidade total é uma gestão que dá muita importância á
qualidade, i esta pesa muito mais que a quantidade. É a sua principal
preocupação.
g Esta gestão aposta na exclusividade e na diferenciação, fazendo
u seus dois valores.
vender estes
r
a
Resposta do
Estudante nº. 2
4
.
A gestão
pela qualidade total é a de certa forma a gestão apropriada
para que o produto final exceda as expectativas e a qualidade. De acordo com
a cadeia reativa de Demming a relação positiva entre a qualidade e a
rentabilidade, onde indica que para haver rentabilidade tem que existir
5 também qualidade. Figura 3.6.1. Textos das respostas de dois estudantes à questão da caracterização do conceito de
qualidade total.
Usando a funcionalidade do programa PAET (ver Anexo A o respetivo manual de
utilização), na tabela 3.6.1. são apresentadas as listas de palavras e respetivas frequências
de ocorrência em cada um dos textos (já depois de eliminados os símbolos de pontuação,
artigos e demais palavras funcionais) depois de eliminados os símbolos de pontuação,
artigos e demais palavras funcionais que constem de uma tabela semelhante à da figura
3.3.3.
106 NºEstudante
134
129
129
129
134
129
134
134
134
129
134
134
134
134
129
129
134
129
134
129
134
134
129
134
134
134
134
129
134
129
134
129
134
129
129
134
129
134
129
129
134
129
129
129
134
134
Palavra
qualidade
gestão
esta
muito
para
qualidade
rentabilidad
gestão
acordo
aposta
apropriada
cadeia
certa
demming
diferencia
dois
entre
estes
exceda
exclusividad
existir
expectativa
fazendo
final
forma
haver
indica
mais
onde
pela
pela
pesa
positiva
preocupa
principal
produto
quantidade
reativa
seus
total
total
valores
vender
importância
relação
também
Frequência
4
3
2
2
2
2
2
2
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Tabela 3.6.1. Frequências de ocorrência das palavras nos textos das duas respostas constantes da
figura 3.6.1. Observe-se que a mera realização desta operação envolvendo apenas dois pequenos
textos é tão demorada que está fora de questão realizá-la “à mão” de modo sistemático.
Da consulta da tabela 3.6.1. constata-se que as palavras mais usadas são
“qualidade” (quatro vezes pelo estudante 134 e duas vezes pelo estudante 129).
107 Observa-se, pois, que o número de palavras dos dois textos é praticamente o mesmo
(26 palavras para a resposta do estudante 129 e 34 para a resposta do estudante 134).
Lendo os textos, constata-se que as respostas são bastante semelhantes notando-se,
embora, na resposta 129, eventualmente, uma maior capacidade de síntese.
Observando a tabela da tabela 3.6.1., é reforçada a ideia (em princípio) de que as
respostas são “bastante semelhantes”. Contudo, a comparação pode ser melhorada
colocando as frequências das palavras usadas nos textos ao lado umas das outras e tentando
ver se há coincidências e diferenças – mais uma operação que é praticamente impossível de
realizar na prática por ser extremamente demorada. Ver tabela 3.6.2.
Nas colunas t_129 e t_143 estão as frequências de ocorrência, nesses textos da
totalidade das palavras usadas no conjunto de todos os textos observados.
Por exemplo, para a palavra (com identificador w6) “demming” vê-se que essa
palavra ocorre no texto do estudante 143 mas não ocorre no texto do estudante 129; a
palavra de identificador “gestão” ocorre três vezes no texto do estudante 129 e duas no
texto do estudante 143.
O grau de intensidade com que as palavras são usadas nos textos (frequências
absolutas) traduz certamente “algo” da importância ou adesão dos seus autores ao conceito
que essa palavra simboliza. Mas como “valorar” estas frequências do ponto de vista da
atribuição de uma “nota” ao estudante que represente fielmente o seu nível de
conhecimento acerca do conceito examinado?
A fim de melhorar a comparação, o software desenvolvido apresenta ainda (colunas
T129_Usa e T143_Usa da tabela 3.6.2.) por cada palavra, “0”, quanto ela não ocorre e “1”
quando ocorre – o que permite “esquecer” a frequência para apenas nos concentrarmos no
uso ou não da palavra.
Somando estas colunas vê-se facilmente que o número de palavras diferentes ou
distintas usadas pelos dois respondentes é muito semelhante (21 e 25 respetivamente)
havendo apenas quatro coincidências (palavras: “gestão”, “pela”, “qualidade”, “total”) das
quais apenas três (gestão, qualidade, total) são relevantes do ponto de vista do tema.
Mais uma vez se reforça, com esta análise, por um lado a impossibilidade prática da
sua realização manual e por outro lado a perceção, neste caso, de que as duas respostas são
“bastante semelhantes”.
108 SbGraf
w1
w2
w3
w4
w5
w6
w7
w8
w9
w10
w11
w12
w13
w14
w15
w16
w17
w18
w19
w20
w21
w22
w23
w24
w25
w26
w27
w28
w29
w30
w31
w32
w33
w34
w35
w36
w37
w38
w39
w40
w41
w42
Palavra
acordo
aposta
apropriada
cadeia
certa
demming
diferencia
dois
entre
esta
estes
exceda
exclusividad
existir
expectativa
fazendo
final
forma
gestão
haver
importância
indica
mais
muito
onde
para
pela
pesa
positiva
preocupa
principal
produto
qualidade
quantidade
reativa
relação
rentabilidad
seus
também
total
valores
vender
Total
t_129
t_143
0
1
0
0
0
0
1
1
0
2
1
0
1
0
0
1
0
0
3
0
1
0
1
2
0
0
1
1
0
1
1
0
2
1
0
0
0
1
0
1
1
1
1
0
1
1
1
1
0
0
1
0
0
1
0
1
1
0
1
1
2
1
0
1
0
0
1
2
1
0
1
0
0
1
4
0
1
1
2
0
1
1
0
0
26
31
T129_Usa t143_Usa
0
1
1
0
0
1
0
1
0
1
0
1
1
0
1
0
0
1
1
0
1
0
0
1
1
0
0
1
0
1
1
0
0
1
0
1
1
1
0
1
1
0
0
1
1
0
1
0
0
1
0
1
1
1
1
0
0
1
1
0
1
0
0
1
1
1
1
0
0
1
0
1
0
1
1
0
0
1
1
1
1
0
1
0
21
25 0
Comuns
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
0
1
0
0
4
Tabela 3.6.2. As palavras dos textos das respostas dos estudantes 129 e 143 dispostas de forma a
facilitar as comparações. Isto significaria que as duas respostas deveriam ou ter “notas” semelhantes ou
mesmo iguais.
109 Verificou-se, contudo, que a “nota” atribuída ao texto do estudante 129 foi 50%
(numa escala de 0 a 100) e que a “nota” atribuída ao texto do estudante 143 foi 25% na
mesma escala.
Usando o programa PAET já atrás, referido, as 30.000 comparações e resumos
estatísticos relativos às 200 respostas levam cerca de 10 segundos.
Isto é, não só se torna possível realizar essas tarefas como elas são realizadas com
um critério invariável e com elevada fiabilidade – tornando admissíveis a multiplicação
dos testes com questões em que o estudante elabora a resposta e por esse mesmo facto a
transformação de uma avaliação num ato formativo.
3.7.
Comparação de Textos usando Biplots.
No contexto das avaliações surge muitas vezes a necessidade de comparar os textos
de resposta dos estudantes a uma questão específica. Contudo, por falta de tempo, só muito
esporadicamente se realizam essas comparações. Mais precisamente, pode interessar, antes
de atribuir uma classificação, agrupar os estudantes do ponto de vista da resposta dada a
uma certa questão. Feita a classificação, pode interessar ver se as atribuições de “notas”
resultantes do processo habitual são coerentes com os grupos naturais de textos de resposta
a essa questão específica.
De resto, a criação de grupos de textos com respostas consideradas semelhantes
pode permitir ao professor – independentemente do critério de classificação que venha a
seguir – organizar melhor o seu trabalho antes da leitura que procede a atribuição da
classificação.
Para ilustrar as ideias aqui expressas considere-se as seguintes 10 respostas à A) do
Grupo I dos dados EXMIN atrás considerados.
Esses 10 textos – implicitamente os 10 estudantes que os produziram – têm os
identificadores a seguir indicados C= {11, 14, 17, 20, 23, 26, 29, 32, 35, 38}.
Isto é, desejamos comparar os 10 estudantes atrás indicados do ponto de vista das
respostas dadas – dos textos que produziram – à alínea A) do exame de Português.
Usando o programa elaborado para apoio desta tese (PAET – ver manual em Anexo
A) um biplot construído com base nesses 10 textos aparece na figura 3.7.1.
110 14
10.0
5.0
bárbara
maria
texto
32
20
nunca
raios
quando
rodas
23
29
parte
0.0
viagem
homens
descreve
sobre
causa
memória
estrada
amarradosinterrogação
mostra
vinte
dois
onde
três
seja
porqu estar
devia
lembrança
outra
divide-se
serviria
tristeza
chover
presentes
vora
estilisticos
daqueles
maior
acções
obra
rachavam montemor
terceira terceiro
realidade
representa
queriam
arrependime
aquela
tristes
ultimo
partirem-se
quantidade
algumas
atoleiro
mulheres
lamaçal
longe
lama
transformar
visitado
vítimas
voltado
tornou
pavimento
começado
ajudado
alguem
alegres
cenário
caso
casa
cair
facilmente
exagero
felizes
ficou
fragilizada
inteira
tinha
ocupa
oito
contrariados
consolado
episódio
estarem
deviam
estado
devida
desta
hipérbole
mento
merc
novo
nove
descontenta
como
gravetos bodas
serem
partes
imprevistos
partiram
excerto
recurso
aliteração
lógicas
fazem
primeiro
pois
alegre
espanto
tais
primeira
estava
nasceu
turbou-se
vespera
todos
trabalhador
início
estes
desde
porque
adjectivação
parados
autor
corresponde
feliz
nascimento
sintetiza
mesma
segundofeito
seus
anos
véspera
passados
explicação
nome
voltouexemplo
pode
algo
estribeira
feita
constrói-se
estilístico
pensamento
convento
acontecido
razões
angústia
refere-se
reforçar
quer
utiliza
atormento
voto
pedreiros
palavras
casassem
breve
caldo
faziam
fala
mandado
mãos
tendo
conteúdo
construir
admirada
acerca
cumpre-se
decidir
dizer
obrigada
sabia
situação
sentiu
repetição
alegria
felicidade
tornaram
pela
condições
solo
antes
rechonchud
recomeço
racharam
reflecte
reinava
apresentado
utiliza-se
usando
partir-se
qualifica
chove
lembrado
tornou-se
visíveis
pantanoso
podia
começavam
cada
metáfora
fornece
forma
terem
teve
observa
pelo
conhecida
acorrentado
afirmou-se
adjectivo
enquanto
destes
dedinho
encarar
divide
estão
melhora
houve
grupo
sentimento
significa
realizadas
realizar
apenas
amor
partidos
relação
retrata
quem
lamentar
lembra
transformou
pantanosos
passagem
passou
privada
casamento
atribulada
alguém
coloca
coisa
felicidades
mostrado
lembrou
limoeiro
mostrar
liberdade
justifica
lugares
motivo
frágeis
frica
iria
ordenou
pesadelo
ordens
ordem
enumeração
enumera-se
enumeras
estranha
diálogo
diversas
entre
ergueu
disso
mandasse
imposição
negações
miseráveis
indignação
grandiosa
incómoda
humana
moles
mole
retratada
revelou
depararam
cumprir
dividir-se
dividido
dupla
solos
desanimo
chuva
cestilo
asar
agora
aqueles
conclusão
desenvolvim
recursos
crimes
introdução
tinham
sonhado
melhor
segunda
visto
quinze
ledice seriam
pensa
talvez
partiam-se
atenções
tratados
virando
turbou
volta
primeiros
presente
presos
ponto
crespuscular
campos
centro
cometido
explicado
explica
existe
tipo
perturbação
pensar
olhos
agumerado
ensonados
gostaria
nfase
nota
rodeia
sonho
poder
eixos
cavalgava
espectáculo
comitiva
obrigados
primavera
outros
estilísticos
afinal
regozijo parado
vários
nada
mais
grilhetas
final
paragrafo
ideia
sendo
saber
parágrafo
ajuntamento
reconhecia
razão
partir
reino
assinalava
aquele
aqui
transporta
veículo
usar
traz
veio
problemas
chuvas
existir
madeira
naquele
junto
tiveram
tornava
todo
podíamos
cordas durante
agradavel
avistar
bando
ainda
fenómeno
estavam
dirigiam
facto
festa
informa-se
momento
negação
forçados
inicia
termina
teriam
acabava
acordar
acorda
enfraquecia
estabelece
episódios
sacassem
sintetizar
sacrifício
sintetizo
desagravo
partiram-se
perante
fogem
soltam
vésperas
rápida
real
anáfora
repentina
represent
resposta
relata
aproximação
algum
justificam
mudança
longo
torbou-se
dificuldades
dificultou
dias
estranheza
fundamenta
mesmos
ilustram
minha
noite
textuais
continuarão
conjunto
encontradas
demonstra
elementos
enfatizar
destino
esses
duas
obras
significado
sofrimento
seguintes
surgiram
sequer
serve
saída
desconhecim
ltimo
oficial
ento
sentido
depara-se
atoleiros vossa
saiba
lastimoso pardo espanhaalteza
chegava
acontecimen
deveria
povo
beira
foram
alinhados
exploração
linhas
frioestaeram
mesmo
construção
trabalhar qual
referente
atadosmafra
seguinte contra
caminho
tudo
linha suas
26
17
devido
imprevisto
tempo
frase
vontade
péssimo
este
38
princesa
para
-5.0
35
-10.0
-5.0
0.0
Figura 3.7.1. Biplot dos 10 textos produzidos por 10 estudantes identificados por C= {11, 14, 17,
20, 23, 26, 29, 32, 35, 38}. Na figura 3.7.1. as setas a vermelho simbolizam os estudantes, representados pelos
respetivos textos, identificados pelos números do conjunto C= {11, 14, 17, 20, 23, 26, 29,
32, 35, 38}. As palavras a azul representam palavras usadas nesses textos.
Através do mero exame visual desse gráfico, podem-se imediatamente detetar
proximidades e afastamentos entre os textos produzidos por esses 10 estudantes. Repare-se
que estes tipos de comparação de respostas dos estudantes são muito difíceis de realizar na
111 prática até para um pequeno número de textos como é o caso deste exemplo. O grande
número de palavras envolvidas (505 palavras) dificulta a operação. Seria necessário
realizar
1010
2
= 50 comparações, cada comparação envolvendo 500 palavras – sem
falar nos cálculos necessários para expressar o resultado da comparação em termos
objetivos.
Neste biplot (HJ – biplot de Galindo) os ângulos – os cossenos dos ângulos – entre
os textos representam correlações entre esses textos. Quanto menor é o ângulo maior o
cosseno e portanto maior a proximidade entre os significados dos dois textos.
No caso da figura 3.7.1. detetam-se, pela mera inspeção visual, “grupos naturais”
de textos: os grupos formados pelos estudantes/textos {11, 35} – ver canto inferior
esquerdo – os textos/estudantes {20, 32} – ou um grupo um pouco menos homogéneo {20,
32, 19, 29}.
Nota-se, também, que a estrutura do biplot é muito condicionada pelo afastamento
dos textos/estudantes 11 e 14.
Esta observação visual poderia sugerir que examinássemos os textos dos estudantes
que aparecem muito próximos no biplot.
Por exemplo, conviria examinar os textos {20 e 32} que aparecem quase
sobrepostos no biplot em causa.
Será essa proximidade um produto apenas do acaso? Aqui o professor pode ter
informação extra que explique essa proximidade sugerida ou apontada pelo exame do
biplot.
No caso presente, os textos em causa são os que aparecem, respetivamente, nas
figuras 3.7.2. e 3.7.3.
112 Texto do Estudante 20
1. Três dos imprevistos da viagem que a princesa e a sua comitiva fazem, de Montemor a Évora são:
a chuva e o frio, exemplo: "voltou a chover, tornaram os atoleiros, partiram-se eixos, rachavam-se
como gravetos os raios das rodas"; as rodas que se partiram por causa da chuva, exemplo
".partiram-se eixos, rachavam-se como gravetos os raios das rodas"; e por fim os homens que a
princesa viu atados uns aos outros, exemplo; "viu parado um pardo ajuntamento de homens,
alinhados na beira do caminho e atados uns aos outros por cordas .".
2. O excerto "turbou-se de tão lastimoso espectáculo de grilhetas, em vésperas das suas bodas,
quando tudo devia ser ledice e regozijo" quer dizer que tudo devia estar a ser alegre e feliz para a
princesa, mas que não estava. A princesa não estava bem nem feliz porque ia ser obrigada a casar
e nem ela pode decidir algo sobre o seu casamento.
3. Um dos recursos estilísticos presentes no último parágrafo é a aliteração, ou seja a repetição de
palavras, por exemplo: "constrói-se um convento porque nasceu Maria Bárbara, cumpre-se o voto
porque Maria Bárbara nasceu, e Maria Bárbara não viu .". O autor utiliza este recurso estilístico
para reforçar a sua ideia.
4. A primeira parte é o primeiro parágrafo, descreve a viagem da princesa e da sua comitiva de
Montemor a Évora.
A segunda parte corresponde ao segundo parágrafo que descreve o tempo que estava e a angústia
da princesa.
A terceira parte corresponde ao terceiro parágrafo que fala sobre Maria Bárbara e o Convento de
Mafra mandado construir em nome do seu nascimento e que ela nunca viu. Figura 3.7.2. Texto do estudante 20 ao responder à A).
Texto do Estudante 32
1. Três dos imprevistos da viagem que a princesa e a sua comitiva fazem são a chuva "Voltou a
chover", os raios das rodas que se rachavam "partiram-se os eixos, rachavam-se como gravetos os
raios das rodas", "partiram-se os eixos", e os homens parados no caminho " viu parado um pardo
ajuntamento
de homens, alinhados na beira do caminho e atados uns aos outros por cordas, seriam
talvez uns quinze.
2. O autor quando nos diz que a princesa: "turbou-se de tão lastimoso espectáculo de grilhetas,
em véspera das suas bodas, quando tudo devia ser ledice e regozijo" refere-se ao espanto e atormento
que esta sentiu ao ver aqueles homens em tal situação, pois o seu casamento estava para breve e tendo
ela razões para estar alegre, estava admirada com tais homens, pois não sabia o que faziam ali parados
e amarrados uns aos outros.
3. Um dos recursos de estilo presentes no último parágrafo é a aliteração "as suas mãos o caldo
dos pedreiros". A aliteração é a repetição de um mesmo som.
4. O texto divide-se em três partes lógicas. A primeira parte é "De Montemor a Évora (.) melhor
se me casassem na primavera", a segunda parte "cavalgava à estribeira (.) como estará ela agora,
passados
todos estes anos" e a terceira parte "A princesa já não pensa nos homens (.) se a outra
lembrança não serviria a memória".
Uma frase que sintetiza o conteúdo da primeira parte poderá ser: o espanto de Maria Bárbara ao
ver tais homens amarrados, durante a sua viagem para Espanha; da segunda parte poderá ser: A
explicação do oficial a Maria Bárbara, acerca dos homens amarrados, e da terceira parte: A
interrogação
de Maria Bárbara do porquê de nunca ter ido a Mafra e de nunca ter visto o convento. Figura 3.7.3. Texto do estudante 32 ao responder à A).
A funcionalidade incluída no PAET permite calcular os cossenos dos ângulos
mútuos entre um qualquer conjunto de objetos. Em particular: textos/textos;
textos/palavras; palavras/palavras. Isto é, possibilita-se assim o exame das proximidades
entre textos; proximidades de palavras a textos ou proximidades de palavras entre si.
113 Na figura 3.7.4. mostram-se parcialmente os cossenos dos ângulos entre todas as
palavras envolvidas nos 10 textos que nos servem de exemplo e esses textos; neste caso,
apenas são mostrados cossenos com valor acima de 0.4, sendo possível fixar qualquer
limiar.
Figura 3.7.4. Cossenos (de valor superior a 0.4) entre os textos do conjunto {11, 14, 17, 20, 23,
26, 29, 32, 35 e 38} e as palavras usadas nesses textos. Além das proximidades (expressas pelos ângulos e respetivos cossenos) podem
também ver-se as palavras associadas a cada um dos grupos de estudantes/textos e que
explicam essas associações. Por exemplo, ao grupo dos textos {17, 20, 23, 26, 29, 32}
estão associadas palavras como {parte, viagem, convento, chuva, viagem, parágrafo, …}.
Ao texto 38 está muito associada a palavras “princesa”.
Deve observar-se que os pontos que representam palavras e textos são projeções no
plano em causa (2 dimensões) de objetos que estão em espaços de dimensão muito maior.
Pode pois acontecer que certas associações textos/textos ou textos/palavras tenham de ser
melhor esclarecidas calculando os ângulos (ou cossenos dos ângulos que tenham em conta
a dimensão desses espaços, como foi feito na figura 3.7.4.). Pode também suceder que no
plano se projetem, como sobrepostos, objetos que no espaço de dimensão > 3 estão muito
afastados.
Na figura 3.7.4. observam-se, por exemplo, apenas os cossenos – calculados
usando a dimensionalidade associada a 85% da informação (dimensão d= 5) – e não apenas
114 as 2 dimensões da figura 3.7.3. Esta figura representa apenas cerca de 60% de toda a
informação.
A título de exemplo, nota-se na figura anterior que os textos dos estudantes 11 e 35
(que aparecem muito próximos na figura 3.7.1.) fazem ângulos pequenos (cossenos
elevados) com as apalavras “acontecimento” (cosseno 0.69 e 0.74) e “ajuntamento”
(cossenos 0.56 e 0.53).
Uma busca sistemática – a realizar pelo programa PAET – pode sugerir explicações
para as associações de textos descobertas.
Uma possibilidade a explorar no âmbito de uma avaliação formativa é tentar
perceber em que medida é que uma atribuição de “notas” aos textos é compatível com o
que conhecemos a respeito dos estudantes – ou em que medida uma classificação atribuída
automaticamente é compatível com uma classificação tradicional.
Pode ter interesse, por exemplo, projetar todos os textos/estudantes sobre uma
direção que represente o texto do melhor estudante ou uma direção que represente os textos
dos melhores estudantes – comparando em seguida a relação de ordem assim obtida com a
relação de ordem definida pela classificação.
Essa possibilidade está ilustrada na figura 3.7.5., obtida com os mesmos dados mas
com um programa diferente para estudar biplots (Vairinhos, 2003). Ver também Método 2,
em 2.2.4.2.
Figura 3.7.5. Projeção da totalidade dos estudantes na direção do estudante 23, com a nota
máxima entre os 10 estudantes do conjunto C= {11, 14, 17, 20, 23, 26, 29, 32, 35,
38}. 115 Observando a figura 3.7.5. verifica-se que considerando essas projeções, se obtém
uma relação de ordem entre os testes que é:
t14 < t29 < t26 < t11 < t38 < t35 < t17 < t23 < t32 < t20.
Em síntese, vê-se que o biplot pode sugerir uma relação de ordem entre os textos
resultantes destas comparações.
Usando não apenas os 10 textos considerados nas ilustrações anteriores mas a
totalidade dos 60 textos de resposta à A), a figura 3.7.6. dá o biplot correspondente.
67
103
viagem
190
47
130
parte
5.0
como
91
124
17
para
14 9
172
rodas
169
raios
imprevistos
88
166
casamento
eixos
rachavam
157
112
94
0.0
160
58
76
133
cesário
caeiro
pode
poeta
voltou
gravetos
cidade
sensações
todosmais
145 chuva
partiram-se
atoleiros
linhas
frase
terceira
onde estes
comitiva
115
alberto
durante
pela sente
85
frio vários
chover
verde
preso
tristeza
20 73
fazem
acontecimen
causa
35
ainda
assim
pelas
segunda 50 estilo
175
alegre
sintetiza
23
outra
descrição
qual
sofrimento
sonhado corresponde
presos
tornaram
amor
recursos
isto
presentemuito
ruas
desde
sintetizar
121
sonho devido
sentir
transmitir
reparava
lógica
pena
seja
178163
sendo
quer
acção
lembrança
sentimentos
partes
encontra
forma
tarde
serviria
pessoas
afirmou-se
mento
descontenta
estar
sentia
inverno
38
expressão
serve
paragrafo
muitas
razão
construída
conteúdo
esta
obra
descrita
coisas
numa
observa
mostra
melhor
solo
grande
serviu
galhos
pensa
tiveram
secos
representa
entender
entanto
respectivo
infanta
bucólico
deambula
campo
transcreve
pormenores
heterónimo
sentidos
derivado
fazer
grupo
demasiado
depressa
significa
elucidar
vezes
bons
longa
percorrer
intuito
naquele
tais
nove
comparação
dado
mãos
trabalhador
mesmo
dentro
pessoa
síntese
acorrentado
ficar
presentes
longo
face
enfase
memória
autor
tédio
acontecera
condições
aquela
recurso
lugar
ironia
causou
adormeceu
passam
nfase
revela
estão
finos
quais
valor
antes
mole
sequer
estilísticos
estavam
tornou-se
facto
várias
primeira
problemas
estradas
queria
represent
acontecer
mortes
acerca
tipos
conveniênci
sacrifícios
pantanosos
espírito
dividido
passado
desses
angústia
referido
reflexões
chuvas
tocara
compreende
rapidamente
leitores
sonhos
mostrar
passar
seus
encontram
motivo
dores
duas
fernando
natureza
gente
apenas
metáfora
tristezas
grilhetas
ficasse
dois
surgindo
remete
trinta
feliz
observar
dividir
noite
ultimo
leva
fazendo
bonito
passaram
nimo
provavelme
enumeração
escolheu
remetia
anterior
reflexão
desejo
moles
triste
trajecto
esses
quase
fala
excerto
partissem
apesar
usar
lugares
descrito
rvores
atribulada
certa
alma
flores
casas
afirmativo
alcolizado
espécie
carroças
verdadeiram
visualizaçõe
versos
olhava
olha
reparando
remonta
repara
deambuland
deambulava
vivia
vive
discritas
transcritos
transmitia
expressivo
excertos
exprimir
liberdade
locais
partidos
pretende
andava
anda
tenta
sujeito
monotomia
complicado
complicada
concluir
utilizando
utilizar
explicita
havendo
redor
demasiada
melancolism
constraste
pormenor
assume
descrever
sentimentali
sociedade
136 montemor
estampado
empreendim
empregue
fome
alcançado
alcançar
finalmente
fazia-se
torna-se
tornem
xviii
durarem
cara
alguêm
facultaram
fala-se
ostentação
tamanho
técnicos
tardes
surgiu
tanto
dizendo
caíssem
acontecem
acordada
transfigura
levarem
leveza
leve
lido
passarão
obscura
nosso
fundamental
própria
entrando
entidade
subitamente
surgimento
metafórica
visualizar
digna
abulia
pedreiros
pequena
perdeu
harmoniosa
principalmen
aprisioname
anteriores
animais
aquilo
desenvolve
desejando
desejos
melancólico
deviam
século
pesadelo
posição
pesada
haverem
assemelhar
termina
retorno
deparar
mente
conseguimos
continuidade
seguir
sentimos
horrendo
casar
parados
passados
longe
rápida
despertar
juntamente
encontrar
chuver
certamente
ajudaram
factores
especialmen
tornaram-os
dizer
cair
fraze
surgem
utilizou
levada
comparar
explicitam
demonstrar
rvore
poema
descreve
solos
chão
dúvidas
adjectivação
transmite
próprio
utiliza
expressa
construído
sonhar
estragando
cheia
comemorar
clero
egoísta
feita
faziam
paixão
dando
característic
caia
viagens
operários
pudesse
enumerar
torbulenta
tormento
vaidoso
fragilidade
gostava
gentes
gozar
privilégios
megalomana
distintas
condicionou
acabava
tudo
trágicos
utiliza-a
existissem
engrandecer
arrefecia
aproveitar
tira
construido
constituída
satisfazer
poder
pode-se
informação
infante
controvérsia
sempre
avizinhava
aumentar
deparou-se
servia
importava
impôs
bastasse
baltazar
encontradas
fosse
formou
quis
espanto
tornando
dá-se
caldo
acordara
transformar
gostaria
entristecer
ente
apresentado
insatisfação
desolada
existem
contribuiram
sentida
inicia
esteve
encontro
certo
breve
esclarecimen
negação
achava
precisament
povo
poca
chocada
estabelece
começara
dúvida
agradavel
ouve
naquela
caminhos
vespera
veículo
facilmente
fenómeno
ficado
levaria
partirem
nutria
frica
racharem
episódios
reconhecia
tomaram
crítica
mandaram
destes
dirigiam
transporta
limoeiro
promenores
enfraquecia
anos
anoitecer
recorreram
reino
terceiro
melancolia
modo
tragédias
traz
madeira
arrepio
assinalava
delimitada
contentes
sacassem
sacrificios
sacrifício
podíamos
podem
ponte
informa-se
desagravo
avistar
sintetizo
justificados
imaginação
bando
estam
chova
cima
esquecer
za-se
adversidade
adversas
pareciam
presenciar
racham
racha
enumeras
m-se
voltado
dividir-se
acha
varios
exemplificad
executada
levou
passa
obrigada
gelado
prefeito
prefeita
racharam-se
anafórica
apoiado
sucedem-se
realçando
superar
cresceram
criminosos
vitímas
desse
aceita
turbo-se
exerto
enfrenta
antidese
arbusto
tivesse
reflecte
degradação
desinterece
correr
reação
testa
contrariadad
conscienciali
identificado
inesperada
inesperado
iniciada
depõe
irónica
justificado
julga
70
climatéricas
ajudou
felicidade
pantanosa
dá-nos
narrador
movimento
vista
oposição
preocupada
esmagado
enxugou
spartiram-se
logicas
patente
antítese
toca
confusa
tristesa
deixando
conversa
roda
desanimada
lágrimas
sofrem
cheio
foram
pardo vontade
levavam
partiram
partícula
racharam
ento
enterravam
escolhida
torna
decorrer
mulher
dificultou
disse
passa-se
ensonada
terem
desenrolar
desilusão
mistérios
intensiva
luta
consciência
homem
ausência
azáfama
sintetisa
estaria
choveu
emocionou
enamorado
embotas
esse
aliteração
pantano
mostrar-nos
caduco
caída
vê-lo
festivo
onze
mande
divertimento
dificultando
acontecido
acesso
apoio
relacionadas
tocá-lo
meio
compreendid
comprovar
ultima
loucura
enquadrand
reformado
resumida
deixa
consequênci
pleonasmo
termo
revoltados
lamacento
inundado
lama
indignação
chove
cavaleiro
começavam
tornava
carruagem
nesse
acompanha
partir-se
partido
relata
recomeço
disso
exemplos
logo
perfeito
desespero
melhora
contrário
sabia
sete-sóis
quebra
espectáculo
esperança
afectar
alguém
adviram
parecendo
tanta
divido
caldos
vesperas
expressões
ocorreu
oitava
escravizado
enumera
altura
tomada
dias
conclusão
utilização
exploração
maleável
resume
terem-se
mesmos
confronto
tristes
tratava
teríamos
testo
consegue
intrigada
atendendo
desconhecim
impressiona
ilusão
finda
palavras
nascença
partira,-se
ordem
ofício
escravos
toma
volrou
novamente
reitera
dialogo
comparadas
pensamento
delírio
conhecia
seguiam
podemos
inicio
desconhecid
sentiu
estilisticos
encarar
chuvoso
coloca
fornece
dupla
cada
ajuntament
adjectivo
visíveis
visitou
felicidades
falar
ordens
qualifica
surpresa
cumprir
mostrado
negações
nestes
divide
transformou
passa-nos
relacionado
reinava
utiliza-se
usando
existiram
peripécias
pequeno
passou
privada
construiram
lembrado
possa
retratada
mensagem
conhecida
introdução
imaginável
imposição
sonharam
estupefacta
estradas/ca
estranheza
estragos
estariam
celebração
coagidos
chega
coche
forçado
e/ou
agradar
agrupa
aliás
parágrafos
pagar
quebrando
questão
quarta
espetáculo
tornavam
danificando
narração
adormecer
actos
acto
obviamente
presença
rachamento
provocar
provocou
repugnante
resistiram
repentina
reside
tornado-o
torbou-se
vora
dificuldade
exprime
levados
ligação
pecados
passaria
obrigatoriam
note-se
gostou
gerais
enfatizar
amolece
aplicar
recordar
reaparecime
sucumbiram
sucedido
realizar
definição
miragem
minhos
maus
determinada
condenados
composta
trata
traços
explicado
explique
exige
intempéries
intempérie
instante
pertenceria
perceber
penso
enquanto
aproximação
realidade
redundantes
redundância
refere-se
referência
reforçar
regozija
reforço
demonstra
mesmas
deveriam
considerada
construiu
considero
secção
seguia
saída
reacção
assola
testemunhar
testemunha
textuais
termos
descobrir
continuarão
contudo
semelhantes
sejam
lamentando
pois
humanitárias
inesperadas
atitude
avarias
separação
justificam
imediato
ilustram
imagina
implícito
chiva
física
pantanósos
admirada
alguma
vinte
ficou
outrem
quinhentos
divisão
do-se
bonita
calmo
participação
entre
local
passos
referências
ressentiu
desfaleceu
desiludida
ltima
razões
assemelhan
assinalar
terreno
contra
constante
lamentou-se
lamacentas
incidentes
indica
atormento
atritos
encontrarem
encontrou
eles
efectuar
casado
afirma-se
finalidade
pantanoso
parar
questionava
questões
danificaram
negativos
caía
carácter
carros
afasta
afecto
véspra
festa
faltou
falei
opinião
funciona
prresente
tenciona
maneado
manda-se
mudança
dividia
dificil
acontecesse
acontece
exagero
pavimento
postriori
rainha
entrar
anciedade
ambiguo
montermor
mavioso
devidir
ditas
tubou-se
utilizada
referir-se
resto
realçou
considerand
saramago
saliento
porém
hipérbole
haveria
contrói-se
contro
lamúrias
sobre
ir-se
centro
fizeram
frágeis
agumerado
função
enumera-se
ergueu
decidir
volta
nota
grandiosa
primeiros
realizadas
realçar
miseráveis
turbou
existe
maior
perturbação
rápido
terrenos
tipo
consiste
rodeia
atenções
revelou
retrata
desanimo
sentimento
lamentar
incómoda
humana
justifica
estômago
chovia
encomendad
chateia-se
chegada
chocar
formas
torpor
parado
paradeiro
caramelos
buraco
verifica-se
fála-nos
ficava
data
diz-nos
aconchegar
visitado
facilidade
partiam-se
noivos
nico
furado
racharem-se
prestes
envoliente
enunciado
episódio
entraves
amarrados
amavam
soube
realça
crespuscular
mecânicos
marcante
mínima
dito
compara
acabou
transcrita
utilizado
principal
engloba
anteriormen
resta
deslocou
dever
contacto
construía
conhece
covento
sair
tratava-se
tratasse
magnífico
interesse
assistir
depararam
constantem
conheciam
lastimoso
politico
auxiliada
irónico
atribulado
baseou
significado
soltam
evidênciado
estusiasmo
evidencia
chegando
emana
começaram
começado
começo
almofadas
aliviar
esquecido
agrupament
alagados
alguem
fase
filha
palpável
outras
quantidade
queriam
repouso
nascesse
voltasse
braço
acordado
partirem-se
opolência
ocorreram
obrigação
ocupa
oficio
novo
fundamentai
friorenta
preparativos
prometida
rachar
esclarecida
escuro
então
realçado
decorre
critíca
manifesta
mulheres
marisa
marido
vítimas
dirigia-se
dificultar
condisente
absoluto
extravagant
pergunta-se
perfilados
perigo
fragilizada
procurar
recostou-se
respostas
reinado
devida
conforme
conceitos
coto
turbulência
trata-se
explicou
lembrar
inteira
pôs-se
arrependime
demonstrad
merc
contratempo
constatamos
constatação
contrariados
contrastava
contrastant
consolado
contente
consta
podia
pôde
piso
histórico
deprimente
segurança
lamaçal
irreal
incomodava
horrorizado
avistados
atoleiro
sintetizante
barbaram
sóis
evidenciar
tornou
alguns
afirma
além
alínea
fala-nos
tornara
mostram
negativa
acima
visão
ordenando
provocados
espanha
mundo
dificuldades
comotiva
transcritas
apareciment
existia
pelo
aproximado
ter-se
descritos
interrogação
desconhece
derivadas
avistamento
situações
servir
aliviou
fogem
ajudado
alegrai
palavra
quatro
caracterizad
visível
provocaram
espantada
epoca
temos
dificultava
diversas
transcrito
execução
início
pouco
pretender
conflito
acabando
tranquilidad
conhecer
havia
tido
contribuiu
inúmeros
homenagem
evidente
encontrados
chama
causasse
aliviando
força
mostra-se
aguçado
família
figura
ficaram
dar-nos
difícil
oportunidad
obediência
obedece
frases
gosto
prontament
primeiras
propósito
preferia
prestar
postas
amar
surgiam
todas
mandado
materiais
condolências
transtornad
transtorno
explicação
pedras
gravar
precalço
apercebe
referente
realização
realça-se
realeza
teresa
metereológic
complicaçõe
completa
conta
herdeiro
haver
retirar
conseguido
coração
infeliz
desagradáv
deparou
irregular
irritação
imaginá-lo
encontra-se
buracos
alegria
alíneas
obrigados
objectivo
relatado
crimes
127
118 devia
passo
refere
pelos
estrofe
emprevista
circunstanci
fariam
paragrafos
paragem
tornaram-se
dadas
curto
caracterisad
vestido
viso
oito
numca
fundamenta
espaço
respectivam
repartido
relatar
suspanto
tornado
maravilhosa
diferentes
diversão
exclamar
listagem
passar-se
noutra
preencher
teremos
deve
acaba
teriam
constroi
portanto
péssima
informar
lamento
iremos
inclinando
identificar
indicação
averiguar
sintetize
casassem
algum
obstáculos
tambem
curiosidade
nada
passagem
gancho
respeito
dedo
transporte
explica
regresso
deveria
sentir-se
109
estrutura
chegasse
cometido
algo
panos
questiona
quinhetos
respectiva
naturalment
pede
enunciar
apresentada
comprovada
ultrapassar
grotesco
arbustos
referem-se
reforça
degradado
deparado
constrangid
construi
lembra
interroga
podiam
textual
sabendo
seis
homenagea
deparava-se
sobressaltad
isso
impressão
base
bálsamo
sofriam
sonha
efeito
alinhamento
divisai
acordar
visitar
maneira
desprazeiros
dirigindo-se
digno
acções
lógicas
inquietação
privilégio
tocar
deformava
perturbada
pensando
retirando
tivera
delirio
deparam-se
conseguir
pobres
infelizes
assustadora
depois
memorial
avistar-se
simples
joão
barbara
sonhára
estamos
ajudar
quebraram
danos
virando
surgiram
acorda
ensonados
tratados
mesma
repetição
preocupa
tenha
muita
umas
três
lembra-se
seguintes
sabiam
houve
horror
sete
adecadência
agitação
qualquer
partir
previsivél
remete-nos
decidiram
matéria
ramos
aqui
deixarem
contentores
depara-se
encontramo
estado
forçadament
observação
nsia
vivo
irem
inantigível
imaginar
caso
casar-se
partiam
desenvolvim
segue
lástima
adormecera
nome
enfim
perante
construir
bastava
essa
suas
dessa
transmitindo
pergunta
aprisionados
apareceu
retira
plena
serem
situada
começa
elementos
direito
livre
tocado
comprovado
crepusculare
justificasse
caracteriza
acordou
verificar
pensar
prisioneiros
deparar-se
avista
espera
algumas
daquela
recorda
dedinho
passava
texto
menos
sintetizado
nenhuma
véspera
olhou
trabalho
apaixonado
minha
pensava
alegres
verdade
expressivida
turbou-se
infelicidade
contexto
seria
estragara
encontre
encadeação
centra
fossem
mostrava
acreditar
alinha
veio
vislumbrava
visitara
orienta
reparado
reparara
tamanha
talvéz
cujo
crua
música
dirige
passarei
nomeadame
noivas
nível
próprios
ambiente
relação
relacionados
respeita
sucede-se
realizasse
tenhamos
realizou
monumento
concluo
leste
percebemos
permenor
possíveis
princípio
aproxima
resume-se
contemplado
consequent
leitor
mencionado
contraditório
se-lhe
deparava
importância
juntar
somado
casa
ocorridos
destino
aconteceu
seguinte
revela-nos
forçados
mandou
vossa
alteza
sentiu-se
causava
favorável
feiro
querer
advérbio
observada
ordenado
prende
relativament
talvez
cuja
dividi
boda
exemplificar
franciscano
aperceber
realizada
trouxesse
intensifica
permite
resulta
saiba
seguidament
tratavam
teve
descobrisse
sentido
sentia-se
indiferença
avistado
bastante
139
faltar
apresenta
deles
dele
conheciment
iriam
lado
iria
felizes
quinze
primavera
prometido
rechonchud
diálogo
estarem
outro
nesta
tendo
pedra
dela
mostra-nos
daqueles
depara
estilístico
agradável
vida
resposta
ajuntamento
deste
embora
cavalgava
mostrando
realmente
momento
existir
pensativa
impossível
junto
cenário
olhos
meteorológic
chegava
cena
promessa
personifica
vésperas
trabalhos
visto divide-se
percurso
41
caminho
casasse
neste
angustiada
nele
nascido
esteconstrução
fica
erguido
sido
vira
encontrava
doze
dimensão
apresentar
conjunto
ponto
estranho
faziaideia
estribeira
fria
toda
aquando
primeiro
regozijo
fora
ordenou
desta
relacionada
cordas
seriam
achou
afirmação
ledice
impalpável
viver
alinhados
mandasse
bodas
anáfora
79
segundo
final
imagem
névoa
porqu
campos
imprevisto
estrada
exemplo
cumpre-se
também
beira
53
trabalhar
situação
parágrafo
oficial
eram
tinham
honra
estava
aquele
voto
ltimo
teria
sabe
lembrou
após
61
possível
todo
feito
outros
tinha
29
afinal
atados
péssimo
tocou
real
coisa
184
quando
quem
nascimento
obras
saber
agora
estranha
aqueles
11
82
100
148
constrói-se
porque
32
homens
151
tempo
106
nasceu
154
26
nunca
convento
-5.0
64
44
mafra
142
187
56
-10.0
bárbara
maria
-30.0
97
-20.0
-10.0
0.0
Figura 3.7.6. Biplot construído com os 60 textos de resposta à A) dos dados EX-MIN (prova
639/2ª fase, 2008). 116 Por exemplo, vê-se que os textos/estudantes {29, 67, 58, 47, 100, 187} são muito
semelhantes e que essa semelhança é explicada pela influência de palavras como {maria,
barbara, convento, mafra, nunca, nascem, tempo}.
Na figura 3.7.7. apresentam-se os cossenos dos ângulos entre palavras e textos,
calculados usando a dimensionalidade (d= 30) correspondentes a cerca de 90% da
informação total.
Figura 3.7.7. Cossenos (de valor superior a 0.4) entre as palavras e os 62 textos de resposta à A)
calculados com uma dimensão d= 30 correspondente a 89% da informação total. Na figura anterior constata-se, por exemplo, que a palavra “alegria” tem um
significado muito associado aos textos 11, 17, 20, 23 entre outros.
3.8.
Categorização Automática de Textos em Apoio da Avaliação Formativa.
3.8.1. Introdução.
No contexto de um processo de avaliação contínua, a avaliação formativa tem um
papel extremamente importante e neste número estuda-se a possibilidade de usar os
métodos de classificação automática (análise de clusters) como auxiliar do trabalho do
professor. Isto não significa usar esta metodologia para atribuir automaticamente
classificações e avaliar os estudantes mas usar apenas essa metodologia nas tarefas para as
quais foi concebido: obter grupos homogéneos de objetos – no caso presente: textos das
respostas dos estudantes a questões abertas.
117 3.8.2. Lógica do Uso das Análises e Cluster.
A lógica que justifica o que se segue é a seguinte: textos de estudantes com baixo
nível de conhecimento, acerca de certa matéria, devem ter características semelhantes e
testes de estudantes com alto nível de conhecimento devem também ter características
semelhantes. Deste modo é de esperar que quando se comparam todos os textos de um
conjunto de k textos, os textos semelhantes devem agrupar-se em grupos homogéneos,
Logo, os métodos de análise de clusters devem em princípio ter utilidade do ponto de vista
de identificar, por exemplo, grupos de testes semelhantes antes de proceder à respetiva
classificação.
As análises deste tipo implicam sempre o cálculo de um índice de semelhança (ou
dissemelhança ou distância entre os objetos a comparar (textos das respostas no caso
presente) e um critério de agregação que permita ir juntando, mediante certas regras, os
objetos, conforme a sua semelhança (ou distância), construindo-se assim uma árvore ou
dendograma.
Uma vez que existem diversos índices de agregação e de dissemelhança, as
combinações dos índices de dissemelhança com os critérios de agregação conduz
facilmente a dezenas de árvores e portanto à dificuldade de decidir qual o par (índice,
critério) é “ótimo” para a problemática em questão.
Uma abordagem possível é uma experimentação que procure, no contexto em
causa, obter o melhor par (índice, critério).
No caso presente, a metodologia de análise de clusters vai ser aplicada ao resultado
da decomposição da matriz de frequências (tabelas de contingência) e portanto a uma
representação geométrica dos textos em que cada texto é representado por um vetor cuja
dimensão corresponde a uma percentagem significativa da informação (variabilidade
total). Ver Capítulo II.
Para esses dados (que representam os textos num espaço métrico) um par (Índice de
Semelhança, Critério de Agregação) muito usado é (Distância Euclidiana, Índice de Ward).
No nosso caso, a percentagem adotada é cerca de 85% que, experimentalmente, se
comprovou, com os dados característicos deste tipo de estudo corresponder a uma
dimensão da ordem de ½ da dimensão inicial. Isto é, se a matriz dos dados com as
frequências tiver p= 100 textos, então d  p/2 = 45 garante a consideração de grande parte
da informação dos dados: entre 85% a 90%.
118 3.8.3. Experimentação com os Dados GEST.
Considerando a totalidade dos 187 textos de resposta à questão relativa ao conceito
de Qualidade Total – foram eliminados os textos em que o estudante, embora tendo
entregue a folha de resposta, o texto aparece em branco – e usando o programa PAET (ver
Anexo A) que foi dotado de um método de análise de clusters.
O resultado aparece na figura 3.8.3.1. em que se pode observar a árvore completa:
Figura 3.8.3.1. Dendograma dos textos GESTÃO. Escala de dissemelhança na parte superior da
janela do lado direito. Na figura 3.8.3.1. pode observar-se que a árvore correspondente aos 187 textos do
conjunto de dados GESTÃO aparece cortada ao nível de dissemelhança (distância) 28.5 de
forma a considerar apenas 5 classes. Nessa figura cada uma das 5 classes de textos
(clusters), existentes a esse nível, aparece pintada de uma cor diferente (vermelho, verde,
amarelo, azul e magenta) de forma a permitir uma fácil inspeção visual. No lado esquerdo
da figura aparece, para cada uma das classes indicadas, não só o identificador do texto
como a classificação atribuída pelo professor da disciplina a essas respostas. Isto é, no lado
esquerdo, cada texto aparece associado a dois valores: a classificação que lhe foi atribuída
pelo professor e o identificador (número) da classe a que pertence na árvore do lado
direito.
A questão que se põe é a de saber se estas classes ou “categorias” obtidas
automaticamente “têm algo a ver” com as classificações atribuídas pelo professor,
119 seguindo o chamado critério “holístico” – resultante da impressão global que a leitura da
resposta provoca no professor e que o levou à classificação indicada.
No que se segue, apresentam-se os resultados da análise estatística desses
resultados, obtida com o software SPSS (versão 17) – SPSS, 2007.
Na tabela 3.8.3.1. aparece a tabela de contingência que cruza as classificações
atribuídas pelo professor com as classes obtidas automaticamente pela metodologia de
análise de clusters, tendo no cruzamento das linhas com as colunas o número de textos
classificados nessa célula.
Verifica-se que o professor concentrou as respetivas classificações nos valores
40%, 50% e 60% aparecendo 16 textos com classificação zero e 3 com a classificação
máxima de 100%.
ClProf * Classe Crosstabulation
Count
Classe
1
ClProf
Total
0
2
10
15
20
25
30
40
50
60
70
75
80
90
100
2
10
0
4
1
1
6
4
6
9
1
0
0
0
0
0
42
3
5
1
3
0
1
8
0
6
6
4
0
0
0
1
1
36
4
1
0
0
0
0
0
0
3
27
6
0
2
2
1
1
43
5
0
0
1
0
1
2
0
4
17
8
1
5
1
0
1
41
Total
0
0
1
0
2
2
0
6
6
5
0
3
0
0
0
25
16
1
9
1
5
18
4
25
65
24
1
10
3
2
3
187
Tabela 3.8.3.1. Tabela de contingência cruzando as classificações do professor com as classes do
processo de análise de clusters (distancia euclidiana, critério de WARD). A tabela 3.8.3.2. dá o resultado do teste do 2 para decidir se existe alguma relação
ou dependência entre os resultados atribuídos pelo professor e as classes obtidas pelo
procedimento de análise de clusters. Verifica-se claramente uma associação entre linhas e
colunas, o que contraria a ideia de que essa classificação possa ser um mero resultado do
120 azar, conforme é mostrado através de três testes que produzem o mesmo resultado (Quiquadrado, Razão de verosimilhança e Associação Linear-Linear). Em todos os casos é
rejeitada a hipótese nula de ausência de relação, concluindo-se então que há evidência
compatível com a ideia de que as duas classificações estão relacionadas.
Chi-Square Tests
Value
112,116a
Pearson Chi-Square
Likelihood Ratio
Linear-by-Linear Association
df
Asymp. Sig.
(2-sided)
56
0
121,096
56
0
33,437
1
0
N of Valid Cases
187
a. 64 cells (85,3%) have expected count less than 5. The minimum
expected count is 13.
Tabela 3.8.3.2
Resultado do teste do qui-quadrado, obtido com o SPSS. A tabela 3.8.3.3. mostra, dentro de cada classe resultante da análise de clusters (1,
2, 3, 4, 5), os valores de diversas estatísticas básicas relativas às classificações dos textos
atribuídos pelo professor. Verifica-se que, apesar da variabilidade, as classes aparecem
associadas a médias bem definidas. As classes 3 e 4 não se distinguem bem.
Report
ClProf
Classe
1
2
3
4
5
Total
Mean
26,07
33,94
54,19
53,54
46,6
42,82
N
42
36
43
41
25
187
Std.
Deviation
19,46
24,683
15,273
16,854
17,483
22,068
Minimum Maximum
0
60
0
100
0
100
10
100
10
75
0
100
Range
60
100
100
90
65
100
Tabela 3.8.3.3. Estatísticas da classificação dos professores correspondentes às classes obtidas por
análise de clusters (obtida com o software SPSS). Em síntese, esta experiência mostrou claramente que existe uma relação bem
definida entre as classificações do professor e o resultado da análise de clusters, apoiando a
121 sugestão de que faz sentido que o professor use o resultado de uma análise deste tipo
“antes” de atribuir as classificações finais. Fica por definir o critério de escolha do nível de
corte da árvore (28.5, neste exemplo).
Isto é, não se está a sugerir que de modo acrítico e automático o professor atribua
uma nota única a todos os textos de uma classe mas que proceda a vários cortes (quanto
mais baixo no índice de dissemelhança – eixo horizontal na figura 3.8.3.1.) antes de
examinar os testes segundo os seus próprios critérios.
3.8.4. Experimentação com os Dados do EX-MIN.
Considerando agora as respostas à A) do grupo I do conjunto de respostas às
questões relativas ao MEMORIAL DO CONVENTO de JOSÉ SARAMAGO do exame de
Português, 2008, prova 639/2ª fase, repetindo a sequência de análises cluster usada em
3.8.3. para os dados de GESTÃO, obtêm-se os seguintes resultados usando o mesmo
software: PAET e SPSS vs 17 (ver Anexo A).
Na figura 3.8.4.1. aparece o dendograma relativo às respostas dos estudantes,
cortadas ao nível 27 de modo a evidenciar cinco classes de textos semelhantes (ao nível do
corte).
Figura 3.8.4.1. Resultado da análise de clusters dos textos da resposta à questão GI A) dos exames
nacionais de Português 2008. 122 Observe-se que as distâncias envolvidas variam entre 10 e 50 – escala horizontal da
parte superior direita da tabela anterior.
A tabela 3.8.4.1. mostra o resultado do cruzamento das classificações atribuídas
pelos professores contratados pelo ministério com as classes ou grupos gerados
automaticamente pela análise de clusters.
Esta árvore – dendograma – foi obtida calculando as distâncias ou dissemelhança
entre textos, usando a distância euclidiana. Para agregar grupos de textos usou-se o critério
de Ward. Para outras combinações (distância, critério) as árvores poderiam ser diferentes.
ClProf * Classe Crosstabulation
Count
Classe
ClProf
Total
19
20
21
24
26
28
30
33
34
35
36
37
38
39
40
41
43
44
45
46
48
49
50
51
53
54
56
57
59
60
61
64
1
2
1
1
0
0
0
1
0
1
0
0
0
0
1
1
0
1
2
0
0
0
3
0
0
1
0
0
0
0
0
0
0
1
14
0
0
0
1
0
0
1
0
1
2
0
1
0
0
0
0
2
3
2
0
2
1
0
0
1
1
0
1
0
0
1
0
20
3
4
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
1
0
0
0
0
0
0
0
0
0
1
0
0
3
5
0
0
0
0
0
0
0
0
0
0
0
2
1
0
1
0
1
0
0
0
0
1
2
0
0
0
1
0
0
0
0
0
9
6
0
0
0
0
1
0
0
1
0
0
1
0
0
0
0
0
1
1
0
0
0
1
0
0
1
1
0
0
1
0
0
0
9
7
0
0
1
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
3
8
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
1
Total
1
1
1
1
1
1
1
2
1
3
1
3
2
1
2
1
6
4
3
1
6
3
2
1
2
2
2
1
1
1
1
1
60
Tabela 3.8.4.1. Tabela de contingência cruzando as classificações atribuídas pelos professores e as
classes obtidas por análise de clusters. 123 Constata-se agora que, face à distribuição das contagens do número de textos pelas
células (classificação, classe), ao contrário do exemplo 3.8.3.1., não se detetam quaisquer
regularidades que indiciem evidência de dependência. Este resultado tem possivelmente a
ver com o modo como essas classificações são atribuídas (de acordo com regras rígidas) e,
sobretudo, pela pequena dimensão da amostra (n= 60) que, face ao número de classes = 8 e
ao número de classificações distintas, torna esta experiência inconclusiva.
No contexto de uma avaliação formativa, contudo, considera-se que o exame dos
conteúdos dos agrupamentos (clusters) poderia ser um input importante para a organização
do trabalho de classificação do professor, dada a semelhança dos textos dentro de cada
grupo. Isto é, antes de classificar, o professor poderia agrupar os testes segundo o critério
sugerido pela árvore antes de proceder à classificação. Nesse caso, ao atribuir um texto a
um estudante, sabe que está a fazê-lo no contexto de um grupo de estudantes considerado
homogéneo. Antes de optar por uma classificação final proceder rotineiramente a um
estudo estatístico como o sugerido aqui.
3.9.
Avaliação Automática de textos usando o Método LSA/Biplots.
3.9.1. Introdução.
No que se segue usa-se a abreviatura LSA/Biplot para designar a representação dos
textos baseada na decomposição em valores e vetores singulares da matriz X de
frequências de um conjunto de n palavras sobre um conjunto de p textos. Já se viu no
Capítulo II que a visualização desta decomposição em espaços até à dimensão d= 3 se
designa habitualmente por biplot mas podemos imaginar biplots de qualquer dimensão d=
3, …, p, ainda que estes não se possam visualizar com os sistemas cartesianos habituais.
As respetivas visualizações e conteúdos são possíveis usando biplots cilíndricos (Vairinhos
& Galindo, 2012).
Neste número apresentam-se os resultados de diversas análises a que se
submeteram os dados disponíveis, procurando-se validar não só o funcionamento do
programa desenvolvido, como pôr em evidência os problemas que a implementação prática
de um sistema de análise estatística de textos ao serviço da atividade de professores e
estudantes levantar.
Apresentam-se, pois, em particular, os resultados da aplicação aos dois conjuntos
de dados (EX-MIN, GESTÃO). Os resultados gerados pelo programa desenvolvido
124 (PAET) para este projeto, comparando esses resultados com os das classificações dos
professores, na perspetiva do esquema de validação deste sistema recomendado na
literatura.
O programa PAET contém uma implementação do esquema de classificação
automática baseado na decomposição da matriz de frequências em valores e vetores
próprios, sugerida no Capítulo II. Como se refere nesse capítulo a propósito da
classificação automática baseada no método da ASL / Biplots – ver figura 2.2.3.3. – os
dados são organizados do seguinte modo – ver figura 3.9.1.1.
ES
Espaço Semântico
AT
Amostra de Treino
T
Amostra de Teste
Figura 3.9.1.1. Organização dos dados para treinar um classificador automático.
Isto é, os dados envolvidos na análise são divididos em três partes: os textos usados
para construir o Espaço Semântico (ES), os textos para construir a Amostra de Treino (AT)
e os textos (T), que constituem a amostra de treino.
O ES resulta da decomposição em valores e vetores singulares da matriz de
frequências, relativa ao primeiro conjunto de textos.
Nas experiências descritas no que se segue - em 3.9.2. e 3.9.3. - este primeiro
conjunto é formado por 90 textos extraídos de manuais de ensino usados para explicar a
obra de José Saramago “Memorial do Convento” aos estudantes do Ensino Secundário, no
ano letivo 2007/2008.
Os segundo (AT) e terceiro (T) conjuntos são textos classificados por professores e
usados, respetivamente, para treinar e testar o classificador, permitindo estimar a
respetiva validade.
Nas experiências descritas em 3.9.2. e 3.9.3., os textos a usar para este efeito são os
61 textos de resposta á questão GI A) dos exames oficiais de Português de 2008 (prova
125 639/2ª fase). Estes 61 textos são divididos em duas partes através da fixação do valor do
parâmetro % da amostra de treino. Por exemplo, no programa PAET assume-se como valor
por defeito, para este parâmetro, 50% o que corresponde a usar 31 testes para treinar o
classificador e 30 testes para o respetivo teste.
Nas experiências descritas em 3.9.3. e 3.9.4., o Espaço Semântico é o mesmo (90
textos usados no ensino do Memorial do Convento de José Saramago aos estudantes do
secundário). Contudo, em cada uma dessas experiências usam-se as respostas às questões
GI A) e B) que são posicionadas sobre o mesmo espaço semântico.
Finalmente, no número 3.9.6. comparam-se as classificações atribuídas pelos
professores contratados pelo Ministério com as classificações atribuídas por um professor
do Ensino Secundário que aceitou participar nesta investigação, classificando esses mesmo
61 textos.
Em síntese, nas análises de dados abaixo descritas vão estar envolvidos: 90 textos
relativos ao ES, 30 textos relativos à AT e 30 textos relativos à amostra T.
Embora o número total de textos disponíveis seja cerca de 600 (ver 3.7.) o facto é
que esses textos estão divididos pelas provas de várias disciplinas para as quais não foi
possível obter recursos que permitissem a digitalização dos manuais de ensino e textos de
resposta correspondentes e consequente construção dos respetivos espaços semânticos.
3.9.2. Construção do Espaço Semântico (ES).
Como se disse, o ES construído é relativo ao romance Memorial do Convento de
José Saramago e é formado pelas coordenadas das palavras identificadas em 90 textos
extraídos de manuais de ensino da obra deste escritor, destinada ao ensino secundário no
ano dos exames referidos.
Na figura 3.9.2.1. está uma imagem construída pelo programa PAET no final da
operação de extração de palavras destes 90 textos e respetivas contagens. Por exemplo, a
palavra “santo” aparece 1 vez no texto 42, 3 vezes no texto cujo identificador é 688, 2
vezes no texto identificado por 701 – aparecendo ainda em outros 8 dos 90 textos usados.
A matriz X (n, p) resultantes destas contagens tinha como dimensão finais n= 5678,
p= 90. Isto é, o ES em questão abrangia 5678 palavras detetadas nos 90 textos envolvidos.
126 Figura 3.9.2.1. Uso do PAET para contagem de palavras dos 90 textos do ES usados para
construir o ES. Realizada a operação de decomposição em valores e vetores singulares da matriz de
frequências correspondente a este ES, verifica-se que 45 das p= 90 dimensões iniciais
acumulam 85.4% de toda a variância/variabilidade/informação contida nos dados.
Isto significa que, em vez da dimensão inicial p= 90 podemos, neste caso,
representar textos e palavras num espaço de dimensão d= 45, preservando quase toda a
informação dos dados, obtendo-se uma notável compreensão dos mesmos (redução da
dimensionalidade em cerca de 50%, com perda apenas de cerca de 15% da variabilidade).
Constata-se também que as duas primeiras dimensões (plano 1, 2) representam 27%
da informação total. A figura 3.9.2.2. apresenta a imagem deste ES captada por um biplot
construído apenas com os dois primeiros eixos.
127 40
698
30
operário
709
20
construção
baltasar
convento
10
712
capítulo
patrão
blimunda
725
padre
mafra
tempo
passarola
disse
663 713 674 silêncio
bartolomeu
723 dizer
casa
dois
homem
662
máquina
dentro
683
696
682
homens
678
lourenço
maria
716
689
mundo
coisa
38
39
assim
memorial
sabia
cresceu
fazia
romance
715
677
obra
705
fosse
710
coisas
scarlatti
francisco
684
além
nunca
737
719
700
690
teve
voar
facto
havia
depois
casas
rainha
coração
agora
cimento
prisão
672
680
humilde
texto
personagen
722
também
voadora
711
45
702
41
história
alto
anos
dimensão
661
conheciment
pedro
trabalho
667
grande
primeira
morte
medo
724
música
sempre
chão
688
segundo
deus
691
pedra
664
narrativa
olhou
nascimento
casal
narrador
espaço
construído
novo
modo
profissão
poder739 trabalhos
irmãos
agressão
templo
exercer
desconhecia
vinícios
tijolo
dou-te
dizia
prato
edifício
mesa
morais
poesia
chegar
delação
vontades
bárbara
699
40
726
sendo
monte
mulher
viagem
sete-sóis
666
729
717
janela
sonho
momento
695
saramago
670
703
686
676
passado
duas
verdade
joão
razão
título
estão
venha
igreja
região
vinte
infante
trinta
junto
enquanto
promessa
707
687
olhos
noite
basílica
exemplo
franciscanos
discurso
infanta
feita
parte
final
sebastião
conta
histórica
pedreira
livro
aqui
asas
sofrimento
notar
731
deste
trabalhador
ficção
vontade
portanto
encontro
mentira
vela
trabalhar
primeiro
vezes
seguinte
real
vida
domenico
eventualme
doença
decisão
671
preocupa
causa
sequer
olhava
regresso
dava
pensamento
735
679
desse
adiante
passou
narrado
eram
fictício
notícia
diversas
descreve-se
marca
tomamos
669
assistimos
holanda
milagre
profundo
suspeição
liberdade
escrita
frente
paço
sabemos
voador
comer
obras
pássaro
leitura
morreram
podes
compreende
foram
constru
bela
começou
partida
gritou
lazer
697
etapas
692
sair
largo
pobre
lugar
resolução
construir
terno
martírios
cortar
tentou
marmita
olhando
reflectia
indique
rosto
notou
agitou-se
povoado
ouvidos
existia
manufactura
mansão
mansa
sabereis
sabe
rude
sincera
tijolos
convençam
gamela
garrafa
objectos
cidade
atenção
misteriosam
imprescindív
assombrado
perguntado
impressão
dobraria
dobrá-lo
enxerga
instante
missão
dou-o
ouviu
valia
bocas
prosseguia
quebrado
quartel
declaração
estruturas
esperança
esquadria
esquecido
dar-te-ei
dar-me
maneira
maldição
rodas
destinado
nascia
vidro
tomo
tomado
fracturas
futuro
665
extraordinár
fadiga
facão
porém
abandonare
adquiriu
crescia
cresce
emocionado
empilhava
misturava
brotavam
caldeirão
produtos
emoção
pedidos
parede
perdão
dureza
uísque
queria
gritos
preta
leia
banco
esperar
vemos
soube
zuarte
sorria
vazia
sorte
suor
solitário
sentindo
casebre
imensa
viverão
viu-se
torturas
fazer
admirava
adorares
cuspido
comia
presente
cadernos
quiser
mostrou-lhe
morava
erguendo
erguia
poema
podia
apartament
suspeitava
apavorado
apontando
aprendeu
sofreria
sofrera
solidão
sofreu
cercado
cerveja
fizera
fez-lhe
fez-se
fato
compreens
satisfação
andarilhos
macacão
entregue
levando
loucura
amiga
lucro
escravidão
escutava
arrastarem
súbito
súbita
subia
fitou
seguiram
seguirão
constatar
levantara
veria
vias
começaram
povo
braço
pistas
733
693
lado
acontece
excesso
outubro
roma
vila
então
encontramo
passagem
perdeu
681
685
caso
estava
relação
pinheiro
mandar
riqueza
visão
673
milagres
hoje
falsas
busca
degradação
el-rei
amor
filho
filha
seguindo
construtores
palmos
temos
palácio
devido
esquerda
neste
setecentos
contar
falar
auto-de-f
universo
casamento
sagração
talvez
participa
família
jogo
sedução
terreiro
explica
diferença
professor
inicia
chuva
transporte
príncipe
assistir
738
668
primeiros
caballeros
alquímico
ambiente
pobreza
vento
irmão
jerez
segredo
alague
palavra
inaugurar
mãos
pero
diferentes
neve
históricos
procissão
atravessa
autor
quatro
estabelece
estamos
permite
revelar
tranglomang
extrema
acontecimen
694
gusmão
baptizado
sopre
solou
seja
caracteriza
presença
lemos
leitor
caia
arder
falte
abre
elementos
escolha
fogueira
fora
começa
terra
tens
alentejo
voto
toledo
função
enfim
desaparecim
somos
sete
visita
torna-se
contacto
justamente
miniatura
edificar
parece
dirige
plano
sujeitos
velho
visitas
acompanha
cunhado
altar
realidade
mateus
terras
corrupio
oposição
tenho
teja
agricultores
ocorre
incêndio
benediction
beirinha
breve
estragos
marinheiros
contrabalan
convida
frustração
gancho
gastos
científicos
relacionamo
inauguração
envolviment
inquietação
informados
reiteração
aumentar
informar
informal
miséria
início
boeiro
dá-se
permitem
descida
toma
conta-se
funerais
fala-se
concretiza
tarde
pontaria
sádico
obrigados
religião
empoleirado
discretamen
haveremos
assiste-se
metros
barcos
provar
espingardea
damo-nos
epidemia
708
expropria
suicídio
apara
tourada
faz-se
febre
conclusão
crianças
cura
religiosidade
conseguidos
participar
amarela
reparar
quinta
poderes
venderem
sobrinho
jornada
entretenime
aniversário
entretém
andava
réplica
forma
clima
capítulos
dela
esmagament
vergas
igrejas
cólera
constrói
recomeçam
palavras
temporais
esteve
existe
saber
violência
género
ausência
datas
vime
fala
juntos
heróis
ferros
podemos
entrar
arte
forte
filhos
respondeu
corte
integra
evasão
nuvem
atribui
dizem
auto
barroco
quase
vamos
implica
704
44
727
feito
tarda
guerra
caminho
pretende
leia-se
meio
nação
nascer
alteridade
entos
libertação
mulheres
escreve
códigos
constrangim
teresa
corresponde
marques
nomes
temática
personagem
sido
tipo
contrário
pessoa
desmanchar
sabem
simples
sonhos
sinal
nesta
direcção
serve
tinha
objecto
cravo
origem
passando
injustiça
helena
gravidez
queira
de-f
sugerida
silva
675
destes
vista
seis
nela
aconteceu
adeus
consegue
partilhar
bairro
pobres
ficcional
ficar
falta
acedemos
abre-os
sala
iuris
entusiasmo
verdadeiros
suspeita
certamente
figuras
fizemos
chegam
flor
libertar-se
liberta
andar
deixa
seguir
espanha
espaços
construíram
materialidad
material
oprimidos
onze
marta
olhar
referências
dito
dias
tipológica
postos
intemporal
encontros
perguntou
históricas
próprios
maneta
romances
aonde
nele
contam
kaufrnan
cristina
42
734
730
historiográfi
ultrapassar
ultrapassa
união
reuniões
sujeitas
veio
imaterialidad
casos
seixo
torno
fazendo
fazem
festa
metaficção
quinhentos
ambientes
lembrar
alzira
livre
logo
pode
arrábidos
vendo
classificação
itálico
jesus
espelho
seguintes
secretas
secretos
segredos
coloca
respeito
reconstru
textos
nota
porventura
possa
tema
oito
nomeadame
digamos
dogmas
braços
estivesse
estatuto
sete-luas
difícil
tinham
conduzindo
conduz
afinal
vaidade
quadros
decorreram
pessoas
descer
transfigura
720
43
ente
quer
transgress
encontrar
perceber
partes
gosto
perca
lição
propósito
aparecendo
aparecer
aparece
senhora
catorze
serão
tornou
acompanhar
precisas
saiu
carga
prepotência
quisesse
balão
mortos
arames
cerdeira
imagem
figura
companheiro
capacidade
repente
letra
local
luas
escolhido
esferas
constante
capazes
verificar
coincidência
textual
materializa
teria
alcunha
ontem
mármores
ocorrência
ocasionou
tempos
temas
referimos
incipit
bênção
excerto
pesos
rossio
nome
dimensões
diferente
noutras
diga
fronteiras
fuga
frei
histórico
inicialmente
divulgados
inaugural
donde
boca
biografia
data
expressa
marcas
piedosa
revelam-se
denunciar
nascidos
virtuoso
torna
falam
costumes
condutor
açougue
chegou
polariza
pólos
ultrapassam
engrandece
historiador
unificadora
passagens
discursiva
processos
disfarçam
intenções
duvidosas
passados
histórias
intenção
passam
procura
procurar
auto-de
entanto
grávida
passar
glória
barba
daqui
eterno
permanece
majestade
magia
sugerem
vejo
seres
vivo
transforma
totalidade
crescimento
concordou
invenção
popular
crescer
saiam
criam
acto
participasse
emprenhou
confissão
alteram
primazia
calar-se
pedras
músico
escândalo
planos
surpreenden
verdadeiras
aspectos
aproxima
souberam
surgindo
sobrevoa
situação
chegava
cedesse
fama
comprimento
completas
absolvidos
completa
acharam
isotopia
acaba
custa
achar
ação
irão
antagónicos
antagonista
conhece
eleva
livros
anjos
entra
degredo
movendo-se
podíamos
põem
verdades
soldado
sóis
focalização
chamariz
físicos
clero
representan
libertadora
levaram
análise
versa
segurando
vidas
recolhidas
reconhece
reconstitui
testa
materializad
materializar
mbar
corrigir
cortam
ombros
terem
opera
alcança
aliar
indirecta
pancada
exactidão
exceder
evoca
desferindo
vozes
digo
tiveram
coroa
tempera
ajuda
tenaz
regressava
disseram
registo
integrados
instituído
panos
benedictione
batendo
brancas
beiral
belos
pública
estrada
exorcizadas
existir
perpetradas
pescoço
pêro
peso
rugas
rubro
ruína
naturalidade
natureza
números
didáctica
noviços
diante
voltas
ninho
nicos
traduz
tirar
conventual
continuado
ganhando
galeria
garras
gente
frases
julgaríamos
agarrarem
postura
afirmar
polida
praça
distancia-se
reescrever
referencial
autoridade
referencia
trazê-los
bacharel
trazidas
atraída
doutor
trazia
reis
aulas
dista
doze
vale
encorreado
enferrujam
perguntava
inscrevem
doctorum
proferido
inferimos
infantes
oxal
bigorna
puxou
quam
decretalistas
esquecem
estudante
esqueleto
esquerdo
decretais
dedicado
estando
exploração
permitiu
desmanchou
despreocup
desmandos
descaem
desce
simbolicame
simbólico
viéssemos
carregada
sessenta
destrança
diremos
voaram
detalhe
voarás
nesse
carne
nessa
transcendên
toneladas
tornaram
tradição
tome
contente
frades
factos
condicionalis
obrigando
pontificum
sacrificial
justifica
nuvens
cheia
cinco
principalmen
aventuras
universi
avisos
transportara
encontrarão
transmudad
envelhecime
consciência
entender-se
ecclesiastici
privilegiada
parece-me
envelhecer
minimizou
universum
memórias
lamacento
redentora
licenciado
problema
encontra
redondos
turísticos
duzentos
pergunta
guardava
privilegia
entender
transpor
pensado
paredes
pegares
usamos
pareces
merece
ustria
brilhar
usboa
tratar
mero
golpe
peles
mofo
laje
libri
provar-lhe
queima
esperávamo
espessura
daqueles
espelhos
defeito
732
dando
dada
706
nasce
eternidade
mandado
malho
sumptuosida
aparece-nos
retratado
varanda
antítese
revolta
velhas
velhos
supor
vejam
vêem
sujo
sobra
sirva
imortalizado
senhores
senhoras
visitantes
imolados
imaterial
imolado
serem
trabalham
tornei
ferro
adjectivação
criticamente
cronológica
precisam
sagrado
criando
inverno
precisa
tapado
josefa
lados
literatura
literário
literária
remete
conseguiram
enumeraçõe
gratuitamen
mobilizada
passemos
primavera
conselhos
questiona
princesa
grandes
metálico
pretexto
amarelo
eclipses
lavrada
cabeça
largura
metade
buscar
angola
lamela
quinze
meteu
altura
quilos
cabia
guias
reler
balões
morreu
mostrar
morrer
mortes
pocas
apresentand
apontar
aponta
arca
solidariedad
semelhante
imagético
categoria
humanos
imagens
fictícios
chega
ficcionais
ficam
fica
comungamo
acabarem
sapiência
abre-lhe
citámos
achado
iríamos
abrem
civilis
representad
reportorium
elucidação
entrevista
andorinha
conhecer
canseira
canonici
elevam
radical
entram
canoso
longas
lendo
elvas
escondido
esforço
escrito
sublinham
arrobas
artes
fornecidos
humildes
fornecer
forçado
forja
centímetros
celebração
cerimónia
chamar
cegos
cento
claramente
classe
anacronismo
levantar
capela
lugares
levar
raspa
anda
deixara
veteram
víamos
ignorância
sebastiana
cobrem-se
resistência
rebuscada
realista
reside
espécie
ideia
colectanea
começar
séculos
coetera
respectivam
recentiorum
recolha
ressequido
resposta
recorrência
testemunhal
teriam
opiniões
tenha
alheio
omitiu
aliena
ocorridos
refugiarem
indiferente
reflexão
referir
excêntricos
expectativa
explica-lhe
evitar
mário
pertencem
pertencia
desejo
nomear
títulos
tiver
freiras
temporal
agustina
ajoelhai
tecto
integralment
informações
referenciam
integrando
indexar-se
dominado
dissemos
integrar
inferno
pano
batalha
publicado
debaixo
exibem-se
eventos
exército
marginalizad
manuais
marcha
perto
simplesment
simbologia
determinada
novembro
serventia
natural
direita
ngulo
nove
nico
contexto
conversa
fundamento
geralmente
genológica
gabriela
conduzido
possui
posto
autenticidad
autonomia
referência
impossível
dramática
autónomo
conjunto
profético
imposto
dizendo
ausente
vagueia
haveria
ausenta
recurso
assistiu
trono
ouro
atesta
dores
autos
o-se
traz
intemporalid
insiste
bessa-luís
queimaram
pudesses
prova
esqueceu
esquece
europa
eurico
permitindo
permitir
pior
denuncia
revisitar
revela
rnítico
destacam
visionária
casados
neidade
seriam
serviu
neles
vieira
740
728
textualizand
tornar-se
718
contemplam
contempora
contamina
feed-back
feitiçaria
fechada
feitas
fábrica
afastamento
obscurantis
acusações
acusada
criarão
confia
cria
transgressiv
consciente
religiosas
enganado
memória
produtiva
emprego
engenho
emergir
prodígio
recriam
querem
guardar
produto
hão-de
hesitar
querer
há-de
alma
modificado
conivência
partiram
modelo
partido
pedinte
pensa
passa
projecção
profunda
daquelas
dans
monumento
narrativas
narrativo
narrados
nasceu
nasça
narra
exterior
veracidade
superação
sucessão
aparecem
vendados
aspecto
retrato
veículo
surge
vazio
sobressair
situa
humanidade
sentimentos
sentimento
imaginário
sentou-se
sentar-se
fictícias
sente
viveu
viva
cronológicas
compêndios
acompanh
acentuam
absoluto
invento
criador
cunha
caracterizad
literariedade
caracterizan
questionam
lembrança
presbítero
quiserem
lembra
alunos
lirismo
cadeia
logro
lírica
metaforicam
entusiastica
confundem
metatexto
grandeza
aniquila
conheci
mundivivênci
movem
podem
suspeitarmo
apresentada
chegada
semana
chamas
fizeram
chama
faremos
clássicos
concebe
cumpre
cláudio
irónica
italiano
representam
representar
leva-nos
liberta-o
levarem
ludíbrio
llansol
levam
lutar
leva
esmagado
escrever
esconde
subiu
fingimento
fingidas
finge
segunda
scar
constituem
constitui
capelão
ampliar
específico
secretament
código
constroem
realeza
ideias
combina
colher
recolher
testamento
orfeu
materna
mato
oração
masculina
massa
matar
cortado
corta
opressora
operários
oprimido
oprimida
alerta
corrupção
tentativa
omnisciência
omnisciente
ontológica
tendo-lhe
alastrado
alcançar
alegrias
aliadas
tentar
terão
opõe
reflexivo
desenvolver
notável
nobres
nora
tivesse
corredores
correndo
corre
ocupado
ocorrido
odivelas
ocorreu
telheiro
positivo
pôs-se
oitenta
individualme
indulgência
incidências
individualiz
referir-se
indicativo
indicador
reflecte
panela
regaço
ditas
brechas
bastardos
batia
estou
explicaremo
evidenteme
explicar
exaltar
perpassa
desejáveis
roubados
desgraça
sinédoque
singular
devagarinho
sexualidade
diamantes
dezassete
nombre
devíeis
noutra
digam
vultos
voou
típicas
típicos
típico
tocar
contraste
convivem
contínua
contribui
frequência
frequenta
ganhar
frotas
fugir
potencialme
afirmativas
potencial
científico
possível
ciência
referencialid
inaugurando
distanciame
insatisfação
dominantes
informa-me
distanciada
insuperável
divinização
domingos
inflamado
paciência
inferiores
tristezas
reinante
infelizes
audição
atirou-o
trazem
atitude
ouvido
refere
distrai
astros
inicial
troça
disto
ouvir
trio
benévolo
bonito
bento
base
qualidades
punhado
puxou-o
punho
declaro-vos
declarou
estavam
estreme
estrelas
estarei
esteira
esteja
estar
execução
exemplar
marginaliza
manifesta
margem
perna
romarigães
despachem
descodifica
sabedoria
descobre
descreve
saberias
sabe-se
ricardo
rodeio
simbolizado
simbolizam
simultânea
símbolo
sonatas
sintaxe
dificuldade
destrui-la
negócios
sete-sois
negativa
negativo
naturais
destinos
vocação
dinheiro
violento
sermão
servido
nascido
vinham
serra
vimes
dever
ndia
voei
transcreve
tornando
tolstoi
contudo
fundidos
gerando
gabar
fundo
gerou
frade
faço
fácil
sacramentai
pragmáticas
condenada
cristã-nova
objectivos
objectivar
conferida
condição
sacraliza
conferir
lacunas
porqu
nuno
porta
junte
tecer
cima
obrigações
observar
problematiza
universellem
encontrarem
impossibilida
recuperando
encontrados
enlouquecer
rectângulos
importante
autobiografi
paralelismo
entendê-las
conotações
perguntada
discursivas
enfrentam
preencher
passaram
paralepse
consagra
envolvem
trezentos
paroquial
recursos
rectificar
procriam
originais
hebraica
redentor
original
assados
enorme
profecia
unidade
assente
importa
imposta
enviado
profano
mistura
travado
tropeça
heresia
pegava
global
tríade
do-se
duplo
mina
dura
dons
laia
barroca
própria
protagoniza
proustiana
propõe-se
propomos
queimado
prolepses
proveito
quarto
queda
deduz-se
espiritualida
esperanças
espiritual
estalava
esposas
esperou
espiar
monarca
mónica
moniz
exprimindo
expressas
exprime
permanecer
mandando
pitoresco
marcado
maiores
desprovidos
desrespeita
romanesco
supliciados
anti-poder
riquezas
validando
derruba
desafia
antigos
apagar
reviver
rituais
deriva
xavier
valido
rezas
rmos
sobejavam
sobe
impertinente
homenagem
honestamen
dessacraliza
casamentos
seiscentos
ficcionista
honorífico
sensação
destaque
caridade
destacar
segurar
destaca
vidente
desses
dessa
voado
nasci
totalit
fraco
fernando
feminina
falo
preconceitos
comentários
cristianizado
acrescentar
confidencia
criticam-se
abençoado
saíram-lhe
cresceram
afastar-se
acreditam
populares
cinquenta
práticas
invalida
cintura
prazer
saiba
cristo
enciclopédia
rememorado
transgressor
premonições
memoráveis
pressupõem
interiorizada
miticamente
literalmente
lembremos
consclencia
intercessão
lembrar-se
pretendem
rememora
linguagem
interesse
interpreta
editorial
patriarcas
pressupor
enterrada
conseguir
emoldura
caminhos
empenho
interditos
emendar
conflitual
patriarca
inusitada
ecovisão
pequeno
entidade
emenda
conflitos
renegar
habitual
questão
enuncia
carícias
h~tória
graças
partilha
interior
relatos
passes
moços
meses
calcou
limites
metro
lareira
pense
relato
liteira
graça
parto
amar
unda
cabe
linha
mito
lido
baltasarlblim
baixo
monumentos
mostram
morrido
mora
escaparam
escapa
equipa
poderemos
poderiam
planta
aparecerem
aproveitado
aproveitava
aparências
verdadeira
sustentam
subtileza
variadas
retratos
sozinho
archote
sujeito
ventre
venho
sopas
vê-la
sobrevoar
situamos
sólidas
imaginação
imaginando
sentimental
sequências
sequência
fidelidade
imaginar
sentença
sentidos
separam
humano
viveram
séquito
fidalgo
casual
hóstia
cauda
sentir
vivem
selar
viver
céus
torreão
faltando
ficamos
favores
ficarem
festas
falso
comprometid
comunicante
absolutamen
acomodasse
abstinência
cronológico
crucificado
invulgares
conceitos
salientes
acabasse
cruzadas
inventor
abolidas
acolhido
comum
acedeu
aceitas
acabar
acolhe
salvar
acima
acaso
jejum
jogos
cruza
salto
acho
jeito
competência
comparaçõe
complement
comparando
compositor
comparada
completar
criadora
custódia
compor
comida
santas
custo
antagonismo
conheceram
localizações
conhecedor
representa
confundida
localização
entretanto
anonimato
considera
prescritas
anónima
quiseres
ambígua
reparou
leitores
campo
reparo
lendas
anes
deitando-lhe
degredada
move-se
mundos
esclarecida
esclarece
esboçam
eruditos
ermitão
eróticos
erguer
escura
erros
subordinada
aristocracia
subsequent
arrastados
suspeitas
artísticos
arrancar
spirituel
apertou
aquilino
arame
ardeu
solicitando
sofrendo
cerimonioso
humilhados
semânticas
humildade
chamam
cérebro
certeza
ilustre
flores
forno
fortes
far-se
clarividência
clarividente
abrindo
clarão
claro
satisfaz
entregam-se
consignados
capacidades
amoralidade
levantemos
levantadas
reprimida
elemento
libertada
amoroso
consiste
levantou
ludovice
anterior
candeia
captam
libertar
lermos
macau
liberte
ramo
lume
deitou-lhes
deixavam
verosimilhan
verosímeis
vértice
subir
verei
iluminismo
financeiros
iluminados
fingi-las
fingindo
firmes
i.o
filipe
fogo
cobertura
cobrindo
reservados
realização
realmente
rebela-se
resgatar
deliberadam
deles
espada
identificando
idades
colectivo
colectiva
resolutivas
resultou
resistia
retirou
construtora
construída
construtor
responder
ressaltam
responde
recolheu
resto
testemunho
organização
ordens
ordres
ordre
materiais
matriz
orador
opta
terminaram
terminou
ternária
terreno
termo
terre
terzi
mecânica
medicina
marvila
medem
cortesão
cortadores
cortarem
cortejo
alenxandre
opressão
algarves
alheias
tenham
opinião
teoria
normalment
notações
notação
normas
correspond
tendo-lhes
tendo-nos
temíveis
alargar
alegria
ofícios
alegre
onírico
onofre
alcino
teme
olhai
olha
indignação
pálpebras
refugiada
reflexiva
palazzo
reflectir
pálida
regio
pálio
exactament
excentricida
explicações
excêntrica
evocados
perspicácia
maritaggio
desenvolveu
desencontra
desenvolve
desengana
desenhado
desenho
desejos
deserto
rostos
nomeados
nocturnos
dignidade
nomeia
note-se
nobre
nível
dilui
tivéssemos
correntemen
cordas
cópia
freiráticos
possibilidade
agrilholados
temporalida
tempestade
ocorrendo
ociosidade
agraciado
teimosas
alagados
te-deum
ocorrem
agradou
ajuda-o
teimais
teia
distribuiremo
inconsciente
diversament
independent
influenciado
informação
influências
panfletário
ditemática
doméstico
regressar
pagam-se
refere-se
incluímos
regressa
incógnito
indústria
dolorosa
referido
dividido
dividida
padeiro
painéis
regista
ditados
diverso
pagens
dívidas
pagam
página
regras
incluir
ditado
regra
indica
pagai
reina
brechtiana
brasileira
brasílica
brandão
brancos
brás
bassílica
bebedice
beckford
benéfica
bastaria
bebendo
benções
bastava
bendito
beleza
beira
bate
proximidade
psicológica
publicada
psalmo
ptima
ptica
estrangeiros
estivéssemo
estereotipad
estranhasse
estrangeiro
estraçalhad
esterilidade
estranharía
estilhaçada
estivessem
estivermos
debandada
estranhou
estranhar
estilístico
estimado
estranha
estilo
exceptuand
exercícios
explicativa
exemplos
exercitar
exibição
eventual
exerceu
existem
evento
exibe
maniqueísmo
manutenção
persistentes
pertinente
pesquisas
perturbar
mão-de
mariana
manter
marido
manos
desculpabiliz
desigualdad
designado
descrição
deslindar
roupinha
desejava
saberás
rústicos
descrito
descrita
designa
désigne
rosário
roubar
desliza
rufino
ruins
rosa
ruas
rufa
sintáctica
símbolos
necessidade
sexualmente
significações
devastadora
significação
devotament
difamações
necessária
devaneios
dezasseis
noviciado
devoções
dezanove
voltadas
devagar
deve-se
sexuais
nicanor
novena
devota
diárias
noutro
devoto
voltou
nudez
névoa
ntimo
deve
dieu
tipicamente
tiranos
tirania
tocarei
tocava
típica
tocou
contraditória
controladora
conversação
contingência
contextualiz
convencia-o
convidamos
conventos
conversas
conversar
continuar
convictas
contrata
convoca
convite
funcionamen
fundamentai
frequentem
fundadores
frequentam
fulminante
generaliza
gasparini
geradora
gerações
frederico
funções
gennaio
garantir
fuligem
gemem
geraldo
gaiolas
frásica
ganha
fugido
fugiu
frio
fria
juntando-se
obviamente
julgamento
juntamente
portogallo
aforismos
polifónico
portaria
possuir
praças
postas
juntar
posso
prado
teclas
agita
tecla
ciel
historicamen
insubordinan
inteiramente
encontrou-o
reincidentes
reinterpreta
documentos
atravessado
informar¬se
intelectuais
atravessava
inacessíveis
atormentad
associando
ostentadas
distinguem
enegrecida
intellectuel
diviniza-se
professora
misterioso
distinções
enfeitadas
inteligente
dizem-me
associado
assombro
perguntar
atribulada
imprópria
miserável
trocaram
refeitório
reinariam
impresso
atinge-se
iniciarem
utilização
dourados
domínio
ouvirmos
inserindo
ausentes
doutores
reescrita
domingo
atendida
perigoso
enxugou
inserem
dizemos
distintos
inserida
assume
trémulo
inquieto
enfadar
autoras
infalível
vaidoso
inscrito
atribuía
profere
autores
mística
trazido
divisão
asturia
insinua
valério
tri-unit
atenta
atreve
ousais
doutra
dízimo
dorme
aturar
trazer
diz-se
infeliz
missa
divino
vales
triste
endo
atrás
ouso
trois
vais
azul
atar
bolsos
bocal
bernardes
biblioteca
bisonhos
barrocos
bere
bien
purificam-se
qualificáveis
quantidade
prosseguir
quadrados
provérbios
pudessem
purgatório
qualidade
quaresma
prosódico
pungente
quarenta
púlpito
pulso
pura
declamações
esqueçamos
esquecendo
declara-se
decorativa
estribeiro
estanque
estações
dedinho
estadia
estarão
estaria
estufa
dedos
estás
dedo
explicitamen
europeizant
europeu
expõe
expo
permite-nos
maravilhoso
maravilhas
marcação
permitam
marcolino
mandou
pessoal
pisado
manh
pífaro
pires
pinto
pista
pias
revelação
desmistifican
ridicularizam
denunciando
dependência
ridicularizad
desaparecid
descoberta
desconheça
despejando
desprendeu
ridiculariza
desconfian
revisitação
despertam
despedida
ricamente
descalços
descendo
romanos
despejar
depende
rodeada
rigorosa
ribamar
descaro
rocaille
valores
robert
sabeis
rias
simbolizando
sonhando
sonhado
síntese
sonata
sonhar
sonhe
setecentista
destinamos
desvirtuado
vocabulário
vilipendiada
implicação
destrinçar
negativas
carmesim
visionário
dinheiros
sermões
detalhes
servidor
nascida
vigiando
serviria
nergies
nesses
destino
destrói
virgem
negros
vieram
vindas
vindos
desvia
vim-te
virada
vimos
servir
viram
virem
vinda
vindo
carta
carro
série
virar
vira
vier
tornam-se
topografia
textualizar
toponímia
transepto
torná-los
trajectos
tomou
topada
traços
tomás
trama
topos
contumazes
contemplou
contempor
contam-se
contenção
contando
contada
contém
contem
contas
conte
futuro"como
fragmentári
funerária
fradaria
futuras
gesto
frágil
fecundíssimo
falar¬lhes
felizmente
feiticeiros
fachada
extremo
facultar
falando
feições
fechar
feitos
faça
lacrimejante
sacramentos
pormenoriza
objectividad
sacramento
pormenores
obrigam-no
criatividade
confere-lhe
sacralisado
sacrifícios
porquanto
obrigação
abandona
cosmético
confessor
kaufman
tardavam
obedecer
comendo
chevalier
cotovelos
acordado
obscenos
objectiva
cravistas
advérbio
sacrifício
cozinhas
justificar
labirinto
sadismo
comédia
costuras
afectivo
ladeada
sacrifica
cósmica
cravísta
cravista
justiçar
observa
pompas
cosmos
confere
choram
acordo
advém
acusar
lacaios
obrara
pontos
costas
sacros
juvino
judeu
saciar
saem
ponte
cheio
sacro
prata
laço
coto
crer
durante
harmonizand
unilinearmen
transposição
alienando-se
701
enormement
consagrados
mergulhasse
reduplicação
enquadrame
gostaríamos
privilegiados
principaleme
passamanes
passarinhos
rectaguarda
discordância
recuperação
percebermo
modificando
encomende
dramaturgo
transgridem
transitavam
transportou
parodísticas
paralelística
perfeitamen
unicamente
encieirados
duplamente
transportar
predomínio
assembleia
disfrutando
privacidade
consagrava
dynamisme
tratamento
conjonction
transitórias
disponíveis
procurando
profanação
mimetismo
melancolia
dynamique
camaristas
engenhosa
gigantesca
harmoniza
transgredir
rectângulo
molinismo
harmónica
orientador
passadista
disciplinas
prodigioso
entardecia
universal
edificador
mergulhar
enganada
hipotipose
procurado
penitência
península
misturam
misturada
modestas
edificação
brilhantes
mendigos
assassina
implumes
dormiram
recrutada
perfection
procura-o
pensando
minorcas
caminhar
harmonia
hipocrisia
hipérbato
pregados
redacção
guardado
paráfrase
peregrina
pedreiros
melhoras
emprega
heranças
parecem
parideira
pregador
recusada
discípula
perderão
procurou
pegarem
principal
modelos
ultrajada
relapsas
reduzida
confirma
mereceu
injunção
herdeiro
parentes
discípulo
perecível
presume
pedimos
milhares
unilinear
edifícios
bruxedo
diríamos
implorar
lágrimas
hereges
parodiar
passaria
grávidas
entende
minas
milhões
tratado
engloba
giravam
glorioso
principe
pensam
usarem
mínimo
dúvidas
gostam
perdura
pereira
méritos
durailte
tribuna
mereça
aspirou
assedia
queixos
ensaiar
paraíso
auxiliar
unir-se
prefira
confins
medita
relatar
queres
enredo
gravita
gritado
assiste
produit
trouxe
ubaldo
léguas
dúvida
edifica
libreto
queluz
recuar
guardi
ensino
pensar
meios
duvida
aliviou
camas
gritam
usado
moita
duque
parou
aliviar
brilha
impõe
perda
milho
relata
légua
dupla
prega
impor
giusti
parar
guas
caldo
meia
lama
d'une
hinos
trarei
alista
assis
avião
urna
trata
herói
urdir
recri
grito
aves
usar
d'un
baptizada
baptismo
baptista
barrete
profundidad
provavelme
profundame
proporciona
proporções
propostas
prolepse
promete
protege
espírito
esperando
deficiência
defendida
esperava
danação
dá-nos
daniel
dama
napolitano
narratário
nascesse
nápoles
nascem
montes
monjas
naquilo
narrar
narre
extensiva
externa
extenua
planétaires
revolucionári
desacertada
demoradam
demasiadas
desregrame
demorando
derradeira
sucessivas
sugerimos
desacertar
supremas
retratados
retratadas
densidade
desacordo
suplicante
retratada
zumbaias
varandim
reunindo
suprema
de'molto
vejamos
sujardes
varrasco
derrisão
apalpais
zacarias
veículos
retórico
retórica
rítmico
varões
veludo
supõe
vastas
risada
sumir
vasta
variar
vazão
rezar
varas
ritual
vede
sono
vaso
sobredourad
sobressai
somando
sombras
somas
smith
sítio
imorredoira
ficou
imediações
impiedades
impede-nos
serenissimi
sentava-se
impalpável
sensações
visualismo
visualizar
vivessem
sentimos
imortais
casando
sensível
católico
impede
sentam
horácio
visíveis
sérgio
visuais
carvão
seixas
fichas
viveza
visitar
vitória
viúvas
honra
horas
imita
senta
serás
vivos
visto
vivia
touradas
trabalhe
toscos
feridos
falsa
precedentes
adolescente
acumulação
administra
conciliar-se
inverterem
acontecera
inventando
inventadas
inverosímil
investidura
admissível
adquirindo
adivinham
tamborilar
invenções
admirável
adiantado
adormeça
adiantada
precisava
sagradas
invocada
concluira
inventou
cristóvão
abóbada
precipita
sagrada
cinzento
precária
precisos
conclua
críticos
tambor
inverso
curioso
admite
círculo
preces
aberto
sagrar
saindo
tampo
crítica
curso
criado
sairão
curtas
prazo
curva
curar
curta
consentimen
confrontamo
encarregado
metatextuali
lançando-se
intromissões
cardinalícias
preparativos
pretendemo
interiorment
interpretada
metatextuai
encarnação
preocupava
mobilização
habilidades
interessara
entortar-se
conseguem
cardinalícia
cardinalício
intersecção
embainhar
lembrados
lembrando
mestre-de
caricatural
encarnada
angéliques
questionar
miuçalhas
lembre-se
alterarem
metáforas
pautámos
pecadores
pretensão
introdutor
lavatórios
laudatório
partilhem
conforme
confronto
relaxadas
lembrarei
confronte
limitarem
inúmeros
intrínseca
remetem
renitente
partições
confunde
metáfora
quiseram
passíveis
lisboetas
liteireiros
literários
interessa
inúmeras
pecadora
entoando
eduardo
animado
preparar
mestres
remédio
amantes
cabeças
cardeais
conflito
lembrou
lançada
camisas
previsto
introdut
laterais
camões
quixote
lisboeta
pediam
lascado
mestre
bulletin
caladas
quitério
encaixa
livraria
lombos
intrigas
pensou
alojam
altares
ambas
alusão
amada
amanh
cargas
pataca
gozam
pátrias
intuito
largas
ligado
hábito
pátios
língua
livres
loggia
passo
linhas
paula
latina
aluno
burro
caída
pátria
lógica
pavor
pedia
caiba
caixa
limita
ecoa
altos
pátio
lindo
lóios
peça
pede
leito
lidos
rabo
grau
gozo
peca
lello
caiu
r0is
alti
bala
bálsamo
definitivame
definindo
defunto
mostrassem
mouvement
moradores
morremos
mosteiro
morgadio
musicais
mortalha
motetos
motetes
mordido
morrem
musical
mortal
morto
morre
escândalos
escaparem
escadaria
escarlate
escapar
escala
poderoso
plenitude
podendo
poderosi
poderia
plantas
plebeia
pluvial
poetas
plural
poço
arquitectural
aparenteme
arquitectóni
aproveitand
aproximava
subterfúgio
arquitectos
substituída
subversão
aproveitar
substituir
aqueduto
synthétise
symbolise
aspereza
arbitrária
armónico
ascender
suspiram
aplicadas
apontado
aplica-se
talhados
aquando
symbole
apelam
arquivo
spagna
apelido
apoiou
armou
sustos
aspira
armas
tadeu
surre
talho
apelo
talha
arde
sobreviver
situadas
situado
sociais
situam
chegassem
seleccionar
imaginado
sentenças
chagados
fielmente
catadura
catacego
vivências
chamava
semente
chamou
chapéu
senão
houve
vivant
césar
sena
sept
torreões
favorecendo
favorecidos
festteggio
fantástico
famintos
faltasse
fanático
fausto
comportame
saramaguian
composições
cumplicidade
compositore
irreversibilid
completame
absurdamen
comparação
crornatismo
culminanted
salteadores
comunicada
acelerarem
comparado
sangravam
completem
acentua-se
salienta-se
companhia
irreverente
irreversível
conceição
académico
academia
compaixão
cumpre-se
abraçados
compridas
acabámos
crueldade
sarcástico
comilança
irrompem
saltarelos
cumprida
salvarem
abundam
acabarão
compara
santiago
conceito
acabada
salientar
irregular
concede
abrange
cruzado
cuidado
salvá-la
complet
citação
italiana
cruzam
satírica
santos
acesso
abside
clamar
irmões
irónico
abrigo
cisma
acabe
isabel
jorge
sarar
sátira
isidro
jean
cycle
cruz
considerámo
ansiosament
considerado
considerada
canonicame
elucidativas
entrelaçand
efemérides
localidades
conservou
elucidativo
anticlerical
reposteiro
repenicar
anti-épico
represent
anónimos
entrarem
liberação
cantarina
elevação
luxurioso
repenica
cantores
canónica
l'homme
canários
levados
cantora
elíptica
cantam
letras
efeitos
levava
elogio
andou
cantar
l'ordre
loucos
leva-a
amito
levou
canto
lucília
amen
cansa
longe
maça
anno
louco
lixam
l'être
cara
deificação
deitando
deitados
deitar
mudança
multidão
múltipla
movida
m-se
escovam-se
escrevemos
escultores
esegui'nel
escritores
escondida
escrituras
escreveu
esforçam
esconder
escuros
escudos
escuras
escrevo
escritos
esforça
erudito
escola
ermo
subitamente
articulados
subitament
subjectiva
sublinhar
arrasta-o
artífices
artistas
aresta
suave
status
verde
solavancos
solicitá-las
sodomia
sofrem
humildement
florescência
fondamental
cerimoniosa
fornicardes
cerirnónias
chamamos
formativas
ilustrativos
fornicando
celebrarsi
formaram
humores
filtragem
centram
focinhos
forçados
cegueira
formada
formálio
centrais
cerejas
forrada
firmino
fluente
forças
celeste
humor
centro
centra
ilusão
fomos
fontes
fluido
filtrar
celas
físico
física
fitas
fixo
classes
saúde
claras
claros
rapidamente
consoladam
libertinagem
andamento
analfabetos
levantaram
levantar-se
constantes
repudiadas
levantando
anacrónica
reprimidos
levanta-se
analepses
andamos
analepse
anástrofe
constata
luminosa
capelães
andando
madeira
rapação
reprime
reptizar
louvado
capelas
andada
eis-me
capital
l'union
egipto
eleitos
maest
capaz
capar
amos
rasto
má-f
luís
egas
deixemos
deixou
deixam
delas
espaciais
verificando
vermelhas
vergonha
vestidos
vertente
viagens
vestem
ver-se
veriam
finalmente
ibidem
ibérica
ilha
seguem-se
secretários
secretário
cocheiros
secções
coches
cobrar
cobria
coche
cobro
reais
receberam
resgatados
constituída
realizado
recebem
realismo
rebelam
receber
reagem
recebe
realça
delicados
esparvados
específicas
espanhóis
espanhol
espalhar
espécies
vicente
idem
ideais
comecemos
colaborador
secundário
coloniais
colóquio
coincidir
colagem
colónia
colegas
retemperad
rechonchud
constrói-se
respeitar
reclama
resolve
retalho
résulte
retira
recomendou
responsável
restrição
restaura
restos
reconstruído
reconstituíd
reconstruir
recorrente
tetraneto
orientação
ordenado
ordenou
tesouro
teses
matematicist
materialism
mastros
mbito
oralidade
oral
território
mecânicas
mecânico
mediador
medida
corrupções
corriqueiro
correu
oportunidad
opostas
tentativas
teológico
teorizar
terceira
alcance
tensões
aliança
alienam
alheios
oliveira
alem
terço
olho
reforma
medíocre
marreco
normativa
notaram
norma
corregedor
correlação
correntio
correia
ocupando
posições
tendendo
positivos
temático
temores
alcorão
oferta
alain
oiça
regeneração
reflectiu-se
pandeiretas
reflectir-se
indiscretas
indivíduos
individual
regimes
indirecto
palhav
experiências
experiência
exaltavam
excelente
evolução
exagerar
examina
evocada
exaltava
personalidad
personifica
persuasiva
desempenha
desgarradas
desempenh
desenvolta
desenrolar
desertava
desfecho
roubadas
rota
nitidamente
dignidades
diligências
notícias
diálogo
voyaient
voyage
vulgar
vulgo
toca
coordenar
contrasta
possibilitou
científicas
potências
potugaise
agravada
ocasional
técnicos
ciências
agitada
ajudam
tem-se
técnico
distinguiu-se
independênc
inferioridade
diversificada
incremento
incontornáv
dominação
insurreição
dissipadas
dissipação
panorama
distorções
dogmática
instruçáes
indústrias
dividiram
instituída
diversos
assumiu
inclusive
incúrias
ouvindo
registos
distrair
inimigo
ditions
divina
beneficiada
bragança
bordeaux
bentham
beliches
breves
bastos
publicação
publicados
provocou
próximos
estrangeirad
estreitament
estrangeira
debandava
estilização
estiveram
debilidade
debatido
estáticos
estática
estejam
estética
decidir
exclusivame
exclamativo
explicitação
exercício
exclusiva
manipulando
persecutória
perseguindo
perseguiçõe
pertinentes
pescoceira
perseguir
péssima
pesado
designação
desmaios
roubava
roque
romba
rumo
sintagmática
simpósios
simétrico
simo
significativas
necessitado
dictionnaire
dificuldades
significativo
severament
diplomatas
serralheiro
diegética
serviços
neuburg
diegético
devendo
dinastia
violando
deverão
director
directas
servem
diderot
directo
diário
signo
ndole
violas
neto
determinado
newtonismo
voluntários
detrimento
determinar
volumes
voltaire
noutros
deu-lhe
nicolau
navios
naus
tradicionalist
tradições
traduzida
tínhamos
tolentino
tradutor
trágica
tipos
tinta
tico
controlando
continuam
convidado
contíguos
controle
francamente
genericamen
fundamental
funcionalme
frequentou
genologia
fundação
francesa
francês
genial
galés
fugas
frase
facilmente
judicativame
ciliciosament
afrancesado
julgamentos
tecladament
pragmática
afirmado
tarimbas
posterior
policiava
cidadão
agentes
obtidos
tecendo
juntava
afirma
júdice
afiada
julgue
tecido
juízos
importantes
informativos
distantemen
proclamado
ingenuidade
mistificação
ornamentos
reelaborada
improvisada
ostentação
relacionado
atavam-nos
atentament
atrevessem
utilitaristas
relacionem
assinalável
impressões
infundados
doutrinária
docemente
proclamou
minudente
assaltando
divulgador
conjuntivo
encontrou
envolviam
consabida
oscilavam
relacionar
travessão
domínios
azinheira
envolvido
utilizados
oscilação
injustiças
encontre
atenções
azinhaga
profecias
austríaco
instalado
utreque
hébreux
paradas
inscritas
divulgar
disputa
instalou
utilizar
inteiros
inglesa
infringe
azeitão
trineto
atraso
oscar
trevas
donne
inglês
oscila
ateus
tropa
aussi
bach
baía
bocage
biográfica
bertrand
bigamia
bisneto
quadrilheiros
protagonista
propunha
provérbio
puseram
prosaico
provém
queimo
quatre
prosa
espontaneid
estagnação
dedicar-se
dedilhada
esquecer
dédouble
estúdios
decurso
declarar
estuda
etapa
monárquica
expressivos
europeias
expoente
expresso
europeia
marcadamen
marcando
permitida
mâle
pilha
depreciativo
deparavam
desrespeito
valorativos
xabregas
desprezo
descalça
revistas
ribatejo
desafio
deram
wolff
valor
rgão
xito
rins
xvii
soberaname
sonhadora
sintéticos
simas
homossexua
homogéneo
imperfeito
vírgula
viria
destacaram
implicações
destaca-se
destinatário
cartografia
vigentes
carreira
dessas
se-ihes
carlas
nelas
traçam
tomos
tora
contemplado
contactos
gheerbrant
futura
fusão
facultando
falassem
facções
facetas
faleceu
femelle
facção
falas
feio
46
activamente
aerostáticos
aerostáticas
poranalepse
cristianismo
precursoras
justificaram
praticament
advertência
configuram
comentário
numerosas
sacerdócio
abandonar
confiança
acusaram
sacrificam
pontuação
populistas
chegavam
inutilidade
activação
judaísmo
tamancos
condillac
afastado
políticos
começos
concreta
crescem
acredita
afectiva
tardaria
abdique
addition
afastar
criativo
cingem
poético
criticar
aderiu
talmud
cria-se
crimes
abade
sábios
736
pratas
populi
adaro
adam
saga
corto
dispendiosas
eclesiásticas
editora/nom
empregando
dispendiosís
intencionalm
interioridade
empenhado
conscienciali
lapidaridade
enciclopedis
governação
prejudicada
ensombrada
modalidade
engenharia
recusava-se
prenunciava
procuraram
ministrados
misturavam
confiscados
aventurado
entende-se
moderniza
empirismo
trouxeram
rematando
engenhoso
heterodieg
gulbenkian
procurasse
lavradores
hipotáctico
intensifica
interessou
enunciado
pensativas
duram-lhe
transgride
enraizado
interesses
percussão
militância
releva-se
partidária
gramática
produção
lanzarote
transição
almedina
relatados
budescos
meninos
premiere
prestígio
ministro
uníssono
membro
relapsos
bruxaria
calouste
graciosa
prémios
ensinam
editions
gravura
edições
câmara
haendel
perfeito
perdem
penetra
querido
graveto
modos
pregão
alismo
brusca
meros
gostos
lidade
goleg
quero
l'âme
paris
recta
u-se
dual
mill
bailado
barregudo
progrediam
defeituosos
damascos
defendido
deficiente
dança
dado
montesquieu
monumental
narratologia
narração
nalguns
equivalentes
equipament
episódio
extenuada
sumptuárias
apareciment
apropriar-se
superlativos
suplemento
democracia
superstição
retrospectiv
vastíssimo
demiúrgica
sucessivos
denegriam
revolução
derrame
variantes
retóricos
variando
superar
variada
ventura
zarolho
sugerir
vedras
veicula
variam
venda
verbal
ritmo
velas
sons
solucionada
sistemático
situa-nos
sensibilidade
sensualismo
sentimentali
fidelíssimos
c'est-à-dire
fidalguice
vitoriosa
católicas
hospital
fidalgos
castiços
castelo
imitar
casou
vivaldi
c'est
tornozelos
tornou-se
fazenda
ficaram
faziam
precisament
administrativ
actualmente
criteriosame
acompanhad
involuntaria
laffont/jupi
absolutista
compatifica
preciosas
concluído
criadores
compare
cronistas
conciliar
abertura
salda-se
inventos
criticada
abolição
journée
açúcar
abertos
adoece
abono
cunho
jaime
jorra
croit
saía
carcereiros
racionalismo
amadurecem
ambos
emaranhado
interrogaçõe
miudamente
cadenciados
intervenção
enumeração
metendo-se
confrontado
interjectivos
intervenient
pretendiam
interpretam
introduzido
intolerância
latinizantes
pedagógico
introduzi-lo
campanha
empurrava
pentateuco
alternando
metafísica
participou
amazónia
conhecida
ambíguas
littérature
conseguiu
repare-se
educação
limitações
pretendia
conselho
lâmpadas
relembro
literárias
questões
pretenso
lembram
patéticos
lendária
ambíguo
pretérito
encarna
r6sseau
quintais
lisboam
leituras
ligadas
intervir
anexim
ligados
presos
locke
quilo
quis
qu'il
l'on
balança
mostrou-se
mostraram
moralístico
moralistas
municipal
morrendo
mortuário
motivo
mota
esboços
esbeltos
erecção
escasso
escape
plásticas
pôde
apesar
aproximação
surpreendid
subordinativ
substitua-as
substâncias
suscitando
subordinati
verdadeiro
apelidados
apreciada
suspensas
aquecidos
aplicados
symboles
apostasia
apêndice
aprende
apostar
arbítrio
tábuas
tafetás
spera
aparte
apoio
arma
semelhantes
semânticos
seminário
flash-back
chamada
charneira
chamado
humaine
cavada
hume
flatos
ceci
favorecidas
favoráveis
faltem
fanico
farsa
comporta-se
saltássemos
completeme
d?alembert
abundância
abundantís
concedido
comunista
complexa
completos
compagne
comunica
achacado
sapateia
acabam
comuns
comova
acabou
joanina
jesuíta
ironia
abriu
culto
cito
captar
considerava
antecipadam
antecipação
l'escampett
anteriores
radicalizou
eliminação
lexicoteca
canonistas
l'éxistence
lustrado
cancelos
cânones
letrados
raminho
entrava
repetia
lubrido
l'heure
raízes
antiga
lenha
elísio
luzes
raiva
effet
luzir
anti
deitava-se
deícticos
deístas
movidas
muda
escolásticas
escorreitos
escondiam
escravizar
escravos
escolher
esgotar
escreva
escritor
escuto
subjectiviza
suavíssimo
vereador
súbitos
stuart
soldados
solfas
sofia
sofre
filosoficame
cepticismos
fortalecida
iluminando
iluministas
iluminista
formação
cerâmica
filosófico
formosos
filosofia
célebres
ilimitada
filósofos
firmada
cenários
ilustram
firmeza
fogem
forem
filinto
filipes
foco
cena
fois
clubes
consolidação
andamentos
constitucion
constantem
anacronias
raramente
consolidar
requebros
anastácio
andaimes
constam
libertino
repúdio
madre
amplo
rastos
dele
deixando
deleite
espelha-se
específicos
espácio
verificação
verificável
verificada
verificou
ideológicas
igualdade
ignaro
ii.o
sectores
seguem
coelho
resistências
recebendo
constituind
reacção
receita
residir
específica
idênticos
comandadas
colaboração
começasse
coexistem
colocasse
colóquios
colecção
colhendo
colocado
consulte-os
restituição
resultados
recobrada
restituiu
resulta
reçoit
reconhecime
recreativos
recorte
tradicional
desta
criar
sobretudo
sentido
ordem
tendo
aliás
três
seria
humana
carácter
mente
senhor
conhecido
apenas
força
perspectiva
disso
significado
geral
importância
relações
reino
espera
xviii
religiosos
projecto
evidente
instância
simultaneam
conjugação
pequena
entrada
lopes
mecanismos
violentamen
dicionário
gerais
condenados
instauração
próprias
sinais
passada
pena
destas
concluir
poca
formas
deixar
oficial
reflexo
posição
evidencia
instituições
integração
nova
objectivo
ciclos
príncipes
haver
revista
soberano
crítico
invés
embora
alteração
cardeal
acção
cumprimento
abordagem
concepção
característic
alfa
reflectem
publicações
naturalment
ntima
instituição
estrutura
essência
estudo
descendent
ribeiro
determina
carlos
tomar
factor
crist
procediment
recusa
dade
horizonte
total
comerciais
primeiras
religioso
patente
interna
quinto
leis
moral
plena
suceder
familiares
sarl
efectivo
cerca
versão
residentes
espanhola
identidade
ideologia
marquês
notáveis
portugueses
excelência
influência
referidos
papa
pais
público
existência
perseguição
novas
volta
frequente
frança
junho
inovação
impostos
bibl
quadro
essencialme
declara
permanência
valorização
reveste-se
romano
virtude
particularme
metrópole
religiosa
emente
ensaios
definição
definida
defesa
nacionais
episódios
risco
solo
castelhanos
horizontes
actos
consequênci
semelhança
cedo
fases
complexidad
cultural
culturais
culpa
abril
canónico
levada
movimento
movimenta
ilustrado
madrid
maximizado
ordenaçoen
tese
mbitos
alheia
medievais
martins
alcandorara
alemanha
tendo-se
alberto
alianza
aliada
regimentais
reformista
reforçado
marítimo
nobiliárquico
normativas
norteou
corpo
correntes
portuguesas
tendenciais
temporária
alagaria
divergências
incidência
regenera
incidiram
regência
regalista
regional
países
régios
estranhas
estima
expansionist
excepcional
explicando
exaltação
excepção
maniqueísta
pertinência
pese
sinónimo
nomeação
dialogante
nisso
vora
nihil
continuidade
coordenador
contradição
cooperação
contraposi
converteu
geográfico
garantias
garantia
geração
garante
frica
ainda
povoamento
potenciado
portugaise
ocasionais
agitação
técnicas
ocasião
portos
aires
perigosidade
documentais
inquisitoriais
disseminada
inquisitiriale
documental
insustentáv
distinguiria
assumir-se
assumiram
integraram
inquisición
periódicas
inflectindo
distintivos
atribulado
inquirição
inquisidor
iniciativas
induzindo
inquision
instigada
períodos
inserção
iniciativa
iniciada
inicisiva
atitudes
pacífica
trento
insere
papal
troco
benignidade
beneficiou
basearam
bennasar
bartolom
bernard
bispos
bens
provinciais
províncias
públicos
estruturais
decadente
estatais
decisiva
explicitados
existentes
explosões
europeus
manifestame
manifestada
persecutório
marabout
março
pierre
desconhecer
desmentidas
desobediênc
similares
direitos
diplomáticas
significativa
diplomática
diplomas
viragem
directriz
vimento
negres
ndice
vols
trajectória
tomaria
tica
contestação
conturbada
contestada
funcionais
franca
observância
obrigatoried
conduziram
polarizados
ponderada
conduziria
conferiria
obstando
conduziu
obrigado
pontifícia
cidadãos
judiarias
pontífice
políticas
cristaõs
cristaos
affonso
pombal
kamen
cristão
costa
juifs
problemática
processualm
conjunturais
paralelamen
historiadore
universidad
ultrapassad
impor-se-ia
envolveram
processuais
autonomias
disposições
globalidade
assinale-se
autos--de-f
conjungam
dramáticos
assessores
meridional
assacando
insistentes
enveredou
oscilações
conjugada
inglaterra
ingerência
relançada
laicização
legislação
gonçalves
privilégios
autónoma
prioritária
princípios
conquista
redutoras
averiguar
prefigura
paradoxo
imprensa
henrique
assinalar
informes
universit
reduzido
mentora
assaltos
paralelo
disporia
avultam
minoria
tributos
historio
usura
henry
inova
proveniente
protecção
queixas
provas
prover
estabelecer
espiríto
dariam
monográfico
monopolista
monarquia
expulsaram
etnias
etnia
magis
malha
retomaria
demarcar
desactiva
wiznitzer
validade
variável
antigo
révah
veiga
sónia
xiii
sobressaem
sobrepôs
somente
siqueira
imperialismo
virtualidades
destaque-se
implantação
impeditivo
senhoriais
visitações
carvalho
se-iam
viriam
cariz
tornavam
traçado
fossem
febril
face
concorrencia
precediment
admissíveis
acrescente
acréscimo
crescente
confiando
adquiriria
inviabiliza
preceitos
pontuam
concílio
judaico
aberta
crime
confiscatória
primeiramen
intrinsecame
entendiment
metodológic
lançar-se-ia
participação
emergência
económicas
económicos
governativo
prevalecent
largamente
eclesiáticas
remediá-lo
guimarães
eclesiático
buscariam
confissões
relutância
membros
relevação
particular
pequenos
relativas
hachette
hamilton
passava
internas
lavradio
almeida
gráficas
limpeza
lamego
relativo
editora
buscou
gozava
rendas
pedido
almas
grave
bula
alvo
progressivo
progressiva
progresso
definidores
defensora
defensiva
definitivo
defensor
definiu
definir
moreira
equilíbrio
pluchon
poderei
subvertendo
sucedem-se
supervisora
arquiduque
apresentar
souberem
tallandier
aparente
velada
sentenciado
hostilidade
humanista
vivamente
católica
cessam
cesure
fiéis
tortura
torres
absolutismo
cumulativam
acidentado
acentue-se
irrecusável
salientem
acentuar
salvador
isenções
joaquim
janeiro
sangue
saraiva
saldou
jornal
cisão
civis
caracterizam
caracterizou
caracterizari
anticlericalis
conhecerão
consequent
reportáveis
conheceria
pretensões
congénere
conhecem
racionaliza
emanação
efectuada
radicação
entronca
câmputo
ameaça
campos
radicais
edward
londres
longa
múltiplos
socioideológi
socioreligios
sociopolítico
formalizados
centralizado
formalizaria
fortemente
flutuações
centraliza
fortunato
central
cego
foro
fariam
compreendid
clássica
abriria
consistência
republicano
consignado
repressivos
repressiva
canónicos
lnquisition
entrega
maciça
ltimos
eficaz
ltimo
ltima
luso
luta
esgotar-se
subdesenvol
vexada
financeiras
financeiro
finalizar
ibérico
ilhas
fins
secretismo
cobrança
seara
constituição
constituíam
ratificação
amplitude
rastrear
demarcada
delito
especificidad
espagnole
espafiola
vicacionado
viciação
vice-rei
identificação
ideológica
ideários
segregação
coercivo
recessão
receitas
recente
combatida
responsávei
responsabili
restabelecid
restauração
restritivas
consuma
reconquista
melhor
idade
termos
medidas
número
ponto
momentos
matéria
serviço
papel
próprio
estudos
apresenta
coimbra
instrumento
santa
razões
alexandre
oficiais
brasil
herculano
criação
resultado
régio
inquisitorial
marcada
percurso
sejam
circunstânci
testemunha
desenvolvim
assumindo
nica
posteriorme
tarefa
porto
maio
actividades
relativament
moderna
principais
clara
formal
secular
orgânica
meados
cortes
medieval
regimentos
regimento
regime
corrente
instituto
brasileiro
ruptura
sinceridade
dinâmica
siécle
potencialida
azevedo
institucionali
inquisidores
inquisitores
dominância
assumida
estrutural
romana
conducente
político
crise
processual
mendonça
discrimina
peninsular
impostas
baião
nacional
extinção
reynos
ritmos
zação
sistema
acusação
cúria
cargos
partir
burguesia
pressões
confisco
governo
alta
erário
pleno
ascensional
arnold
causas
comunidade
acentuação
complexo
santidade
civil
lúcio
forçada
capitalismo
verificado
igual
sector
colonial
restrições
português
igualmente
manuel
maior
alienação
conversão
reinado
população
repressão
antónio
económico
efeito
média
integracionis
controlo
atlântico
estado
expressão
pioneira
factores
judaica
económica
suspensão
especial
país
social
processo
período
longo
paulo
cultura
régia
estabelecim
relevância
comércio
sociedade
fase
portuguesa
ento
política
direito
edit
através
santo
século
tribunal
ofício
cristãos
judeus
novos
721
714
0
lisboa
portugal
inquisição
-10
-40
-30
-20
-10
0
10
Figura 3.9.2.2. Biplot correspondente aos dois primeiros eixos do espaço semântico relativo a 90
textos e 5678 palavras envolvidos no ensino do Memorial do Convento de José
Saramago, representando 27% da informação total. Examinando esta primeira versão do ES constata-se que o texto número 471 – que é
o de maior número de palavras do conjunto dos 90 – comporta-se como um “outlier” uma
vez que condiciona só por si toda a geometria do ES. Também se vê que este texto aparece
associado essencialmente à palavra “inquisição”. Examinando esta palavra – que ocorre em
18 outros textos – a sua frequência no texto 741 é 24. Isto sugeriu que se construísse o ES
eliminando o texto 741. Verificou-se também que o texto 698 estava excessivamente
128 dependente da palavra “operário” pelo que o ES foi refeito sem esses dois textos, retendose então o ES que está representado, usando os dois primeiros eixos, pelo biplot da figura
3.9.2.3. seguinte. Examinando essa figura, verifica-se um maior “equilíbrio” no sentido de
que a respetiva estrutura não está excessivamente dependente de um só texto ou palavra.
09
capítulo
10.0
baltasar
padre
mafra
blimunda
bartolomeu
máquina
lourenço
construção
pedro
conheciment
711 partida
monte
voar
viagem
trabalhos
junto
casal
684
688
nascimento
pedreira
sete-sóis
vela
holanda
tomamos
regresso
descreve-se
infanta
assistimos
acompanha
doença
690 bárbara
promessa
encontro
sebastião
decisão
final
venha
713
infante
689
roma
scarlatti
depois
basílica
primeiros
parte
feita
trabalhar
716678
voador
vemos
deus
desaparec
francisco
mandar
disse
estabelec
seguindo
príncipe
arder
altar
milagres
686
676
alentejo
toma
terras
espingard
envolvime
agricultor
capítulo
edificar
ocorre
sádico
beirinha
faz-se
conta-s
esmagam
religiosida
conseguid
discretam
empoleira
relaciona
sagração
entreteni
marinheir
contraba
paço
recomeça
benedicti
informad
aniversá
haverem
frustraçã
assiste-s
científico
damo-no
obrigado
vendere
aumenta
expropr
participa
revelaçã
entretém
epidemi
sujeitos
estrago
informa
janela
sobrinh
amarel
corrupi
criança
funerai
incêndi
podere
pontari
constró
jornada
mateus
tourada
convida
descida
miséria
repara
suicídio
fala-se
réplica
vergas
boeiro
gastos
provar
região
quinta
tenho
apara
dá-se
febre
cura
teja
conclusã
cólera
barcos
reiteraçã
pedra
degradaçã
inquietaç
esquerda
procissão
miniatur
sabe
reais
música
baptizad
visitas
primeiro
trangloma
inauguraç
inaugura
começa
cunhado
alague
chuva
sopre
dirige
neve
falte
caia
solou
vento
igrejas
terreiro
contacto
extrema
visita
toledo
pobreza
pero
breve
segundo
passagem
setecento
caballero
chegar
fogueira
torna-se
revelar
jerez
família
domenico
sonho
caracteriz
transport
ambiente
tentativa
filha
fosse
somos
alto
jogo
710
sabemos
ento
milagre
notícia
professor
corpo
diferença
casamento
voadora
concretiz
participa
oposição
pinheiro
outubro
franciscanos
abre
irmão
primeira
atravess
escolha
estão
encontramo
origem
palácio
fazer
riqueza
marques
nesta
687
projecto
segredo
alquímico
679
inicia
palavra
auto-de-f
medo
perdeu
busca
lemos
filho
responde
715 719 680691causa
diversas
nuvem
gancho
681
voara
excesso
pergu
suspeição
construir
ferro
simbo
vime
união
liber
ouvi
podere
tendo
voo
bené
materia
conjuga
majesta
imperti
pergun
univers
acomo
honest
prepar
totalida
espera
indulgê
interce
lembra
cresce
segue
sentou
respo
honor
patria
pudes
conse
eleme
esfera
frequ
noite
torno
braço
cham
estra
balõe
efect
repa
spirit
viver
cons
favo
trope
antig
traze
esta
fida
repa
retir
firm
dist
esp
voa
cerc
frot
gab
sóis
vali
cus
por
jun
ouv
troç
ver
voe
ard
pereg
acolh
corr
saib
séqu
tens
aconte
entard
ter
nom
harm
queira
bairro
transgr
código
simboli
toca
clam
hou
rein
dizdeclam
guerra
desmanc
represe
secreta
sentim
fondam
subitam
estran
profun
testam
aproxi
colabo
comun
contem
estives
refugia
secret
tipicam
abre-o
concili
conjon
constr
obriga
tempe
difama
númer
condu
consti
domin
engan
institu
intelle
juntos
leia-s
lembr
miste
venda
autodeific
synth
lembr
pertu
comb
dezan
libert
plenit
queim
quise
reme
cape
escar
escon
essên
estaç
exerc
lumin
prepa
sequ
abób
carde
criad
l'hom
pass
serm
unida
inqu
iuris
perc
retór
terná
aspi
ensa
impe
veícu
cele
colh
intri
prod
teria
unir
dore
etap
flor
orad
pon
résu
tri-u
vier
luas
l'un
sen
junt
vim
fing
fug
luta
mo
pan
viva
fas
ord
sac
sob
trar
vind
físi
l'êt
lou
ndi
gri
die
cie
fecha
suspeit
símb
setece
conivê
enfa
pát
dissem
pod
encontr
dogm
feita
692
estav
mun
seja
mari
ambí
soube
coete
defe
astr
tri
casad
resseq
enfren
veja
mecâ
acomp
vision
acaba
torna
clar
quer
aula
lado
univer
tempe
faltan
violenta
igualm
conscl
ocasio
duvido
sinédo
violê
dedi
esca
sop
ram
recol
l'ord
decreta
desman
envelhe
apresen
antagón
particip
recentio
reporto
respect
ecclesia
julgaría
comple
encorre
enferru
precon
revelam
compa
continu
cristian
deitand
enlouq
envelh
miticam
parece
regres
sebast
unifica
agrilho
aprove
cobrem
colecta
desfer
diversa
divulga
eternid
parale
perma
resistê
absolv
canoni
carreg
concep
concor
declar
esclare
escolh
escond
excent
fingim
lamace
pontifi
primav
provar
rechon
simbo
acusaç
andori
atorm
compa
conse
destra
diviniz
estuda
fragm
ganha
insupe
licenci
pergun
preten
abenç
afirma
deitou
doctor
esque
estilha
ilumin
qualid
sobeja
anti-p
capaz
cumpr
decre
despe
destac
guard
impalp
inaugu
ontoló
precis
recon
sobre
tornar
acadé
achar
açoug
constr
deficiê
desca
diviniz
sequê
suger
bacha
canse
comp
conte
inflam
metá
panca
prima
repos
surgin
alcun
baten
calarcanon
cedes
cober
deixa
destr
escrit
feitiça
inferi
pegar
repre
veter
trazid
acusa
branc
cientí
eclips
exced
exem
oprim
parec
piedo
polar
unive
usam
virtuo
acord
bigor
cond
deixa
estim
femin
grávi
hebra
inven
inver
iríam
mere
meta
noutr
ombr
prega
prodí
sacri
sepa
sublin
tivera
bálsa
cano
cobri
corta
enxu
força
incóg
lágrim
nuve
profa
sabe
sonh
triste
víam
asse
balão
espe
esta
expr
lame
puxo
segu
tapa
voar
aleg
aper
atiro
brilh
cand
dout
estre
mete
olha
rene
viole
arch
ajud
aliad
cheg
corta
malh
nasc
puxo
saia
tema
usbo
acei
acha
beir
cego
criam
desc
exal
incip
loca
logo
oper
pega
põem
praç
quam
rasp
resis
ruga
sent
sobr
torn
traz
volta
chei
civil
este
golp
lend
mba
ninh
pan
pele
pleb
pólo
pôsrega
rubr
sólid
tena
vêem
vers
alivi
calc
hós
lare
libe
mof
nico
ruín
test
tota
dito
dor
elei
forj
logr
pun
sus
tect
vitó
arc
fort
ntim
plen
sujo
vive
cald
can
mis
oxa
sela
toc
vale
bat
d'u
libr
lum
sen
frá
fre
sal
cot
fog
sabed
simbol
trabalh
part
cintu
viésse
apare
amar
cor
agarra
mascu
abreapag
entende
alastr
hum
esperáv
absurd
preci
barb
mord
aviso
reti
név
fra
ansiosa
vêpedre
dav
bas
tom
homog
leitu
amora
amor
confu
pre
viola
excên
retrat
esca
pin
impo
desenc
famin
desgar
dorm
symb
sep
fazi
rea
trev
que
inquisi
sente
aqua
lei
cur
traç
princip
intoler
anacr
execu
conc
medi
com
sobre
explica
aond
contr
lisbo
huma
dificul
natu
inim
certame
absolut
encont
entrega
humild
imposs
transfo
inaugu
interior
mergu
obscur
privileg
sacram
atrave
cardina
cilicios
ensom
escând
espiritu
inform
miudam
passam
persec
sintagm
comple
conven
demas
despre
entend
equiva
escolá
esquec
imedia
perseg
saltead
abstin
ambos
conseg
inaces
improv
meten
mouve
partici
partilh
recusa
retem
termin
advert
aparê
atavam
cardin
conde
confer
cristãdemor
dynam
enegr
estran
excep
interse
involu
localid
reserv
roman
camar
carcer
c'est-à
chama
config
desejá
desen
espelh
invest
levant
mand
ostent
penta
planét
procu
queim
resga
secret
semân
sentav
solava
subita
aband
angél
apelid
correg
cortad
deban
desac
desco
empu
encar
esper
harmó
mora
respo
subve
volunt
abraç
acred
adian
cosm
escon
espan
exten
felizm
lavrad
levan
objec
operá
pesco
presc
procu
deitav
barre
carm
consa
facilm
facult
instru
inutili
isotop
l'éxist
mend
perfe
ricam
sagra
secre
symb
torno
bapti
coche
desco
deser
estrib
guard
interd
morr
opres
preci
refug
saltar
verifi
zumb
arras
canta
cham
comu
contí
esfor
espe
liteire
nasce
perm
procr
provo
pung
regre
sacra
soma
varia
austr
alaga
aman
bude
colhe
come
dédo
douto
ecov
euro
mort
move
ontem
prem
profe
próxi
rede
somb
supre
vivên
xabre
afina
cegu
comé
dese
ensin
escra
estát
exam
extre
idênt
irreg
mad
maio
mult
paté
perig
prec
resu
talha
apre
bran
canc
cent
cruz
desc
distin
envia
eróti
girav
italia
letra
relap
rode
serm
varia
cósm
caríc
certe
cham
com
dési
enca
escu
fulig
hébr
pano
reag
roub
voya
addi
alco
alien
asse
barr
dura
forra
gem
inve
jour
nerg
pain
perd
quin
serv
tece
vinh
ajud
aloj
ama
apo
belo
chap
clas
efei
entr
erud
fem
fran
joan
junt
pag
pare
pass
recu
satír
sofr
aze
carg
cing
coch
cord
dire
esta
estu
laca
liga
preg
rece
repe
rode
soci
volt
atra
cau
cris
dan
dec
diga
digo
este
fech
grit
leva
ord
rost
sáb
salv
talm
toca
trág
ved
velu
aca
alhe
cur
ded
estu
jeju
me
páli
risa
tare
vira
visi
vivo
am
coc
dei
divi
don
hor
jog
ser
tec
torr
orfe
ada
avi
boc
est
juíz
larg
lixa
ma
opõ
pra
ard
cab
céu
cim
cyc
fug
ga
l'âm
luz
pap
tem
au
faç
far
mâ
mi
pis
po
ca
ce
c'e
eff
sít
cro
va
vir
ce
ro
sa
fo
l'o
rin
falte
sexualm
castelh
suces
doura
litei
ba
diversi
d'u
clarivid
derr
ilust
perd
domé
introd
tro
valora
va
acomp
foram
quadri
transg
disting
crucifi
canon
bie
tor
melh
poe
salda
aram
deva
deprec
viag
finalm
assalt
tens
boc
720
conve
obra
perso
escri
historic
heran
ibér
homen
ne
agrac
apên
inusit
dele
ascen
man
ne
sozin
sereni
defeit
corre
enge
diss
espá
ofíc
vaz
be
vis
rom
distant
desp
exag
ridicula
esbe
tribu
varõ
crim
sona
corte
tama
freque
fidalg
fida
irmã
vision
marav
chega
retór
cultu
sac
sup
bele
nav
cul
tec
cu
rgã
criar
severa
bre
ved
olive
urd
aliena
exist
alie
aparece
fecundí
maniqu
metafo
perman
aprese
arquite
casame
compo
desculp
distribu
enorme
insubor
amadu
favorec
fundam
recome
sobred
aproxim
desapa
emara
entusia
estere
estran
floresc
influen
judicat
manut
respon
sensib
apropr
aventu
cadenc
cerimo
confun
consci
consol
desreg
enume
expect
homos
julgam
lapidar
preocu
propor
saltáss
teclada
analfa
aprove
consag
devota
disfrut
duplam
encom
fundad
habilid
oportu
ornam
prenun
procur
propós
subord
substit
superl
transit
unicam
esteril
alenxa
atreve
confis
conhe
desres
escân
escap
explici
fornica
implic
indifer
minist
mistur
monár
nitidam
pande
resistê
signifi
subjec
abund
comen
compa
exper
gigant
ilustra
impre
indign
latiniz
marita
matér
ociosi
pedag
pragm
psicol
receb
repud
transg
anticle
carica
come
determ
ditem
docem
doutri
escor
excelê
feed-b
fornic
mestr
napol
neces
pudes
remat
reprim
suavís
subor
pecad
admir
assom
celeb
densi
desen
dizem
edific
esegu
explic
festte
freirá
hipotá
introd
metró
penitê
penín
pensa
persu
porto
prete
purga
sonha
verda
assoc
chega
comil
conju
contin
debili
devan
duram
esper
estiliz
estra
ferna
hipoc
limita
mistu
mora
morg
pagam
percu
pesqu
produ
quare
regre
reque
result
suplic
supre
suspe
armó
confe
dama
desce
episó
gaspa
gerad
impre
levar
mortu
oscila
partiç
profu
refer
reina
retra
salva
vives
abun
acha
comp
cravi
dedil
defic
empr
escon
exce
igual
impo
inova
lâmp
libera
obsce
paren
partic
passo
peca
perse
prové
recus
sinal
sofre
suspi
ultraj
agra
atend
bebe
beck
bené
corte
criad
de'm
discíp
eleva
esqu
even
form
injus
justif
luxur
ocas
prod
razõe
receb
redu
relem
religi
roub
santi
sinté
situa
te-de
tende
tetra
tínha
utiliz
algar
aniqu
ause
colon
comp
corre
cron
dana
dand
deita
exibi
insta
lemb
mote
puse
rebe
seme
solda
sujar
tarim
vagu
varra
implo
afec
amb
casa
conc
crav
cres
critic
desig
esco
exer
genn
grac
marc
marr
nápo
nota
pate
pedi
pode
polic
princ
pros
rece
sacr
sapa
serv
acre
arqu
artíf
belic
cant
decl
dese
deve
divid
dúvi
este
evoc
exte
falta
faná
gara
inscr
lanç
mas
múlt
mus
para
pom
prot
ram
rústi
saiu
salvá
afec
agen
ape
artis
bala
bend
biga
conf
curio
defu
deix
esfo
esté
haen
italia
leva
ouvi
poss
psal
quei
reac
regi
sexu
spag
tard
vaid
teim
abe
assi
astu
casu
defe
elva
ficar
insin
irmõ
man
mar
orde
rosá
teso
zaro
abri
ado
alhe
ane
arbí
arm
bail
cap
dev
dívid
edif
eisgoz
gua
libre
med
onír
pátr
pen
poé
reco
se-i
son
súb
sug
veri
virtu
aliv
bols
bru
cam
can
cob
cruz
dou
elog
háb
imp
l'he
mae
nas
ous
reg
sab
sair
seix
som
surg
tafe
tosc
vari
veic
viúv
apa
cap
duq
esc
exis
fog
gan
gos
hon
igna
indi
mo
nov
pob
pra
ptim
qua
sen
stat
tram
trin
vire
ant
cóp
dan
fan
fize
futu
ges
invé
julg
lida
ofe
pát
pav
pop
ras
súb
tive
viva
vulg
afia
ann
hin
iron
laz
mu
osc
reç
sol
vio
peç
atr
ced
flat
fus
gra
len
mped
risc
ritm
vul
cor
ltim
olh
ou
pá
pe
rab
sof
vas
ve
vir
laç
nic
pa
pil
qu
rud
so
tip
viv
ata
cre
fri
luz
tin
toc
oiç
qu
te
al
an
fe
fri
brasi
dolor
corriq
norm
rest
rai
decorre
libertin
tarda
olh
pala
dízi
zaç
semelh
secç
estreit
morr
míst
cava
tábu
fau
contrad
relac
sagr
desm
bisn
vind
que
sim
relacio
destin
exclam
apos
mér
cicl
cai
pod
entoa
prom
porqu
fals
pag
mane
ma
indisc
própr
dad
ocorrê
contro
reuni
ilimit
pluv
revisit
fra
feit
ii.o
parec
herde
obrig
arbitr
alus
desigu
procu
morr
cená
técn
visív
reta
discip
dispon
articul
berna
objec
bata
cabe
infal
vas
pas
ros
entra
visu
exem
segun
anda
entr
ente
desmis
ausen
vilipen
mime
depe
cató
sua
pos
alis
lend
me
camin
altar
ares
condena
harmon
recuper
conhec
crescim
depend
encarre
rapidam
denunc
localiza
ridicula
transpo
673
comple
conver
crorna
culmin
definiti
inconsc
lacrime
marcad
metate
mostra
passag
porme
posteri
protag
rectagu
adoles
arquite
compo
conting
demor
descon
despac
docum
encont
europe
intenci
interpr
manipu
monum
natura
objecti
purifica
recupe
reinter
privaci
acumu
aerost
cerimó
consid
drama
escrev
exacta
ingenu
metate
modifi
perfeit
podíam
precur
provav
sobera
suplici
transp
acentu
arquite
assem
ceptici
compa
degred
elucida
encieir
entort
entrela
equipa
esparv
espon
justific
mistifi
mobili
pratica
progre
quanti
salient
signific
surpre
atenta
consu
design
esmag
estive
harmo
influên
interp
juntam
quadr
rectân
sangra
subter
tivésse
tratam
univer
passa
cerirn
conten
dezas
emba
engen
escult
humild
invent
invero
melan
nume
orient
pertin
senho
admis
aprov
braço
demiú
forma
imagi
lembr
mecâ
negóc
prínci
prodig
quest
repre
sacer
sensa
verme
minud
acabá
altern
biblio
comp
confo
conhe
crueld
deduz
distin
enfeit
escad
hipoti
impre
intere
lavató
metáf
mode
morre
músic
nome
recru
relaçõ
topog
torna
transe
trezen
visua
aquec
assas
atinge
atribu
chaga
cientí
defini
desca
entan
implu
irrom
marc
noctu
pergu
refeit
semin
sente
situam
subtil
topon
trans
varan
anást
anda
anón
asper
camin
conta
cotov
cump
deixe
delica
desej
dignid
frede
gram
hipér
justif
mino
miser
norm
obser
prega
prete
prosó
roma
tenta
troca
vergo
acab
anim
aplica
apon
bison
canó
catad
catac
coloc
cozin
envo
estilís
judaí
mate
metá
mode
nacio
ocorr
ouvir
perde
quare
respe
roupi
sagra
seria
torre
tribun
utiliza
visua
afirm
aplic
atenç
benç
centr
confi
cristó
edifíc
espa
ficam
humo
indiv
inven
jesus
labiri
notaç
pass
pere
presu
ques
refle
relat
sabe
torná
traje
acab
basta
brux
caná
costu
deve
diegé
dizem
escu
espé
facha
focin
ladea
mão
mest
porta
prev
rapa
recla
roma
temí
tives
trava
vesti
volta
later
bast
cam
câno
cinze
cont
cosm
esbo
glori
imor
inven
nasc
orde
pens
ribam
suce
zaca
abol
bulle
direi
elípt
escr
evita
grav
hosp
mac
med
obse
oiten
refle
reso
retó
roca
segu
tema
veícu
quad
aces
alhe
amb
cala
cere
chor
deueme
esgo
esta
falan
gera
horá
idad
lasc
lomb
mes
nica
oraç
pens
prof
quité
valo
vice
absi
aco
aleg
cast
diár
distr
dita
esco
fale
ferid
firm
flue
gaio
infri
limit
sínte
tem
tiran
topa
vent
vest
virg
pisa
auto
carv
cost
diál
dúv
frás
jesu
légu
logg
mot
neg
nou
nud
pág
páti
pern
pos
púlp
rítm
sag
tam
trou
uba
valé
vermod
ade
afir
and
asp
atur
corr
cria
egip
exp
louc
mor
ono
serr
sub
vírg
acto
cism
clar
dire
dita
dup
fom
fon
fore
gen
gius
ilus
isab
jud
juvi
latin
par
ped
rez
smi
sum
top
usa
vive
fluid
ach
alci
bur
car
cela
dur
efe
imp
jaim
lóg
lon
lucí
pre
rufi
sar
sát
tad
ass
cla
eco
exi
imi
isid
lam
ritu
ruin
sur
talh
típi
val
be
lind
pir
pur
sér
ter
tot
rec
ave
eg
exp
go
jor
na
brá
fal
fita
pia
az
or
fix
vie
quer
consta
brilha
bril
olh
comec
escova
prete
subi
naq
lég
reg
ape
ded
falar¬
brasí
profis
bib
imorre
erm
vocabu
decor
sacrif
con
levant
passar
cape
funer
pon
mon
segura
chega
traba
bassí
caíd
louva
sarama
siéc
tambo
tam
assina
criar
imper
borde
reelab
profan
estran
cravo
defin
refer
aber
céleb
refe
leva
son
indir
funcion
inferior
unilin
cumplic
pontu
intrín
uníss
senti
vigen
repar
pade
santo
eventua
simbolic
afastam
alienan
comen
devaga
generic
injustiç
revoluc
unilinea
antecip
contro
disting
empre
enquad
indepe
interior
religios
tradicio
afranc
andam
human
imagin
intençõ
lembra
organi
permit
profun
proxim
activam
antecip
confro
desvirt
encarn
exclus
interje
marav
predom
tempo
critica
desem
dificuld
econó
estraç
expres
incont
interve
retros
suplem
aventu
desen
estagn
frequê
identid
l'escam
mostr
verific
apare
contam
detrim
freque
intenç
irreve
prosse
recrea
reflec
religio
serral
adivin
consti
dedica
deneg
design
elimin
ficou
implic
prové
public
raram
tendo
distor
engan
exalta
flashpanor
qualid
recob
repen
adorm
aforis
bênçã
biogr
coexi
conse
convi
defen
estive
indiví
influê
littéra
partic
simpó
solda
militâ
charn
come
destin
devoç
discíp
educa
esfor
inicia
medi
most
muni
novic
polifó
potug
princ
propu
torno
trave
verifi
alcan
cerâm
colóq
conc
corta
dinhe
intere
invoc
lanza
muda
parid
quise
reesc
tradu
carid
come
enco
falas
literá
mere
narra
pode
reina
repe
tendo
term
varia
vejam
verea
afast
apalp
canto
colag
conh
deíct
mem
milha
ocor
preté
remé
salie
secto
milh
abre
espe
estú
exalt
infer
inter
món
prém
regim
situa
torre
tradu
vigia
abdi
assu
carr
cast
direc
editi
enca
erec
espa
insta
lisbo
mar
nalg
nobr
pene
perf
revis
ribat
sere
supe
terce
trém
câm
cont
mer
mov
nout
nove
opin
varia
acor
dest
devo
even
feiçõ
fest
grav
grita
inte
ligad
moç
pata
prec
pref
que
des
há-d
lubr
roub
facç
form
hav
resi
saú
abo
am
baix
idea
per
pífa
ver
cés
dam
filip
fort
mb
mil
not
plu
pro
con
gol
lev
nar
ndo
pul
rum
tris
vin
agi
bei
cru
her
lóio
pio
urn
viv
vol
ba
du
ilh
ruf
us
lut
xv
reves
suspei
simé
enre
espec
inclu
tinham
efemé
azinh
ango
cruz
técn
atre
pôd
cida
conso
voya
club
sabe
país
deban
sea
porana
segred
comu
narra
son
interro
estivés
mecâ
oralid
força
poste
repr
por
fa
constr
pálpe
quis
partid
infe
autobio
famili
porme
inúm
insatis
temá
verdad
econó
ocorre
criti
enrai
deví
hum
dele
resga
verif
lim
arte
divi
duv
irón
sedução
cumprim
el-rei
monum
comuni
clarivid
compro
caracte
compar
dessac
identific
enfim
essenc
individu
lançand
rectâng
consag
contem
matem
montes
redupli
regene
signific
acresc
corred
descen
desres
devast
discord
domina
eviden
explicit
irrever
recons
sensua
vila
confide
conota
constr
cristian
enciclo
filosofi
newto
parodí
sentim
velho
arrast
democ
estabe
individ
mater
necess
novem
perten
popula
procur
substâ
anonim
d?alem
depar
julgam
perspi
preten
selecc
sistem
supers
derrad
ideoló
infund
possib
preen
propõ
realiza
reside
ridicu
susten
utilitar
adqui
assum
consa
corre
degre
elucid
empir
ficcion
ilumin
invenç
perten
procla
radica
ressa
suscit
coord
divulg
envol
esclar
escra
fidelid
intelig
metaf
rebela
reflec
serve
acusa
anti-é
conve
desgr
empe
encon
escre
ideoló
lauda
ocupa
paciê
popu
públic
sarcá
sensa
anast
emen
ideolo
ilustr
ludov
paráf
rectif
corre
laiciz
ampl
arran
colec
decla
enorm
evoca
fundi
inser
nasce
patria
pequ
punh
tradiç
vocaç
barro
benth
criad
custó
desti
dinâm
erud
evolu
exclu
exérc
filosó
filtra
indús
infeli
poss
prove
teoló
cató
cond
deta
euro
habit
paro
páss
reali
abra
atitu
conc
derr
festa
filóso
fizer
graç
lacun
satis
sinai
temo
verte
volum
acab
divu
está
freir
ganh
sinta
siste
veio
atrib
auto
equi
ergu
plan
prov
repú
adm
afas
cent
corr
cria
dide
ingle
mas
nico
tent
típic
farhum
pen
tard
alis
esto
frad
gra
inic
nar
tent
term
tría
aba
raíz
tom
var
eta
ing
levo
nob
stu
ane
arm
ate
tes
abr
ale
elís
loc
nív
wo
de
leit
lai
lid
op
sa
u-s
dil
m
lend
sacral
emen
viei
respo
r6ss
teor
conce
experiê
intelec
declar
subje
rouba
cresc
orden
ven
notíc
panfle
tolen
assa
deís
prime
boca
humilh
prince
filin
passad
person
prest
seisce
futuro"
fals
lustra
flor
reflect
usar
mo
edua
ostent
públi
aparen
invulg
europ
miuça
mad
sou
cida
morte
trinta
entusias
prepotê
transfig
monum
antago
arrábid
comand
consoli
dispend
francam
reconh
verosim
capacid
criterio
eclesiá
subord
sumptu
absolu
aparec
cerimo
corren
denunc
despro
dispen
editora
import
literalm
potenc
preced
aristoc
destac
fidelíss
fundam
govern
interve
margin
perceb
prejud
proclam
relativa
sexual
benefi
comple
constit
contum
diction
empen
engen
favore
increm
juntan
persist
qualific
reincid
aceler
cartog
corrup
despej
destac
diplom
domin
insurre
ofício
referê
testem
clima
dignid
entend
fortale
impied
inverte
laffont
moder
movim
resolu
verosí
absolu
campa
diligên
dissip
fulmin
restitu
result
sabem
suces
trouxe
vastís
conce
conse
corrup
expre
intens
opres
recorr
sober
altera
amaz
ambíg
anale
comp
condu
confia
gener
indús
inglat
potên
precio
resolu
voto
aplica
braga
cham
confe
contr
dezas
dividi
expoe
medío
produ
releva
relax
arte
azinh
confli
deixa
desce
desfe
domí
exerc
feitice
impró
nega
obed
oprim
pode
poten
sintác
symb
territ
cabe
contí
contr
convi
deba
derra
espa
form
geraç
guard
meni
odive
plást
posit
renite
trans
vitori
advé
aspe
assu
bertr
diver
episó
injun
libert
lisbo
minis
mode
movi
neub
pass
péss
ques
refor
restit
servi
técni
teimo
toura
coinc
comu
confe
cons
decu
dinas
dom
fazen
firma
impo
incúr
opos
relap
retra
sere
utreq
agita
barr
cuida
de-f
facçõ
ficar
firme
inva
posit
quar
sadis
alian
ciên
crist
disp
ediç
engl
esca
face
jane
obtid
pesa
rept
suje
açúc
citaç
gost
justi
nom
rela
sant
dá-n
desa
futu
nasc
palh
praç
ritua
secu
situa
aleg
bas
coe
ditio
erár
mat
prov
recu
vejo
xavi
aler
cas
doimit
irão
roq
sain
spe
típic
vas
vult
cun
dup
jorn
par
plen
can
cos
est
und
che
par
sae
sof
filip
má
tra
be
rua
cit
povoam
disfarç
objec
sim
míni
desace
dess
adv
institu
forma
confl
terre
morad
esqueç
solucio
reprim
valida
espo
anda
vide
apo
inicia
sodo
figur
mei
compo
solicit
molin
utiliz
rece
narr
alt
brasi
dramá
qu
consen
exprim
origin
favorá
aprec
frada
mag
baltasa
manif
ajoe
inscrev
estudo
poca
del
espanh
determ
lemb
tom
sen
transp
revolu
dizem
velho
laje
busc
instaur
livre
mobiliz
acaba
diama
perpa
pêr
acha
velha
visitan
rainha
ordem
benedic
consegu
materia
porvent
transgr
transpo
compor
encontr
gratuita
instrum
solidari
centíme
conven
desem
desenv
actualm
sacram
gravide
inform
espess
esquec
freque
narrat
sequên
modal
obriga
gheer
tonela
consid
daque
liberd
nascid
popula
profer
redon
sacrifi
sapiên
vaidad
gulbe
hetero
imate
imola
levara
mand
núme
turísti
aqued
enunc
paroq
pobre
direm
espec
frequ
varan
antíte
arrob
geno
imola
notáv
recol
símbo
sonat
activa
afirm
alme
carde
força
funda
impo
lavra
reflex
vend
corri
diegé
eleva
entra
ermi
expre
have
idade
instit
largu
here
calou
dias
garr
quin
seria
singu
códi
defin
fuga
ness
polid
poss
alca
ensa
fam
fren
jude
quilo
supo
cabi
dera
guia
pass
aca
ben
doz
mor
resu
sérg
tom
vind
dev
júdi
nor
pau
pes
rele
traç
alia
diár
rela
res
rmo
tira
dist
gua
cris
por
fác
sag
foc
tic
seguint
ideia
anjo
lugar
anacr
passem
ferros
descr
redent
humil
marq
ala
recur
robe
material
auto
exten
convid
coimb
princ
relação
obras
humani
simples
represe
compre
confron
conside
deliber
funcion
gostarí
queima
cronoló
finance
preten
desenv
evasão
sete-lu
criativ
destin
entret
interes
sucess
associ
bastar
compl
espec
senho
enten
lingua
sete
substi
horizo
pertin
repen
suger
aram
escrit
exerc
lexico
propo
realiz
partil
pensa
perm
deslin
desta
incluí
inicia
inúm
redac
possa
noviç
pedim
dond
inser
torno
frade
intro
pape
terem
trata
apel
cole
difíc
facu
livra
pere
vers
alar
auxi
conv
púb
divis
acto
aten
fund
incl
larg
sen
erro
fich
linh
alu
linh
cria
ria
pautá
forma
contex
nun
musi
pega
levante
cust
pessoa
entend
saíram
min
filtr
lido
adminis
intromi
marg
mistu
dita
comprim
criticam
caracte
instituiç
portugu
referen
distanc
inteiram
particu
compa
comple
consta
import
sentim
confun
escapa
imped
melho
obviam
recons
referim
testem
questi
afasta
acade
brech
conce
conjun
enterr
existê
passa
profes
sentar
catorz
mergu
procu
textua
aband
daque
defen
meio
confr
cruza
fantá
imagi
salien
setecham
coisa
estan
fielm
levan
move
posiç
contu
estre
geran
sema
céreb
diríam
fingiform
funçõ
hãomadr
políti
resta
abrin
comp
conv
pess
recu
rigor
torna
audi
chão
desa
peso
deix
note
reviv
tenh
dive
nout
acim
acus
bon
cinc
met
poe
refe
gero
terã
dele
forn
glob
jorg
líng
traz
vaz
nico
tece
teo
nor
vive
jeit
tra
xito
r0
morre
morr
sala
sens
ptic
colabor
pitore
h~tó
ajud
fingin
esta
transc
referi
telhe
fictíc
vim
vent
falam
alfa
ciênc
destes
capacida
ausênci
problem
desenv
mármo
consciê
omnisc
talvez
necess
possibi
raciona
portug
recolhi
valoriz
admin
estran
terra
activid
corres
simple
introd
esteve
conte
grand
espiri
public
sentid
cresc
colón
conf
galer
mea
fábri
livre
tron
volta
voze
forç
dess
rela
alm
sar
end
fica
reflex
farem
claram
reale
reve
trabalhador
companh
margina
falsas
caracte
estrang
excêntr
geralm
ignorâ
secund
contem
proces
memó
parale
cinqu
estrut
levan
prolep
moste
consi
cultu
franc
bapti
brech
parti
cunh
exter
glóri
maio
clero
refe
círcu
ensi
intu
pert
idei
osc
partir
peque
anteri
699
fact
pressu
press
estava
i.o
literá
marc
saber
constrang
mulher
durante
conduzi
passand
explora
remem
premon
consign
memor
pragmá
proced
explica
conhec
distanc
inform
lembre
romar
semân
subseq
aparec
descod
discur
sessen
simult
verdad
comer
grand
intere
proust
remem
solicita
profun
realm
entos
objec
emold
segui
cheva
desta
indica
religio
anale
artíst
deba
esboç
restri
desta
aboli
colóq
profe
serão
ante
desta
enun
expli
capt
class
gent
aced
quix
ricar
cent
lerm
and
oito
ribe
deri
ilust
tols
junh
ma
don
jea
abr
lel
determ
sonho
leitor
sign
aqui
norma
incidên
plano
vontade
sofrimen
acontec
direcção
informa
medida
descob
tendo
lembra
disser
situaç
capel
popul
asas
carga
origin
retra
daqu
dess
crític
razã
ouro
curs
pau
críti
luís
carn
parte
nomead
vida
riquez
temos
espírito
aprese
autorid
portan
image
localiz
quises
existe
poder
interp
andar
escre
aliás
entid
conc
rossi
falta
filoso
frase
have
leva
mon
ficam
pedra
natur
conseg
vive
auto
liberta
ponto
espanha
mecanis
consequ
contrár
compet
desenv
digam
novo
propo
feito
mode
períod
kaufm
domí
religi
nacio
mina
cham
letra
oficia
lição
praz
régi
fazem
longo
prole
acedem
narrat
narra
inquisição
físico
lugar
enciclop
perman
libertad
aborda
chegam
circuns
temáti
criaçã
europ
santa
eleva
polít
675
736
concl
conta
cultu
empr
estu
antagon
mort
dist
duas
podemo
sumptu
adjectiv
aparece
comung
enumer
imortali
naturali
distanc
perpetr
pretend
transm
despre
exorciz
desma
celebra
integra
repres
fornec
minim
monar
rebusc
sublinh
expres
pessoa
exacti
imagé
proble
verific
inferim
didáct
privile
forne
pared
subst
deixa
espéc
perm
postu
prete
tradiç
citám
alcan
ause
detal
prátic
recol
onze
reme
desta
iróni
revo
inter
long
tradu
vérti
gera
ness
resid
coro
evoc
sirv
elucida
realis
regis
trazêconsci
condicio
recorrê
atraí
fictíci
assistir
infan
joão 677
simultan
ultrapas
contar
semelh
seguin
veracid
nascer
retrata
simbó
dedica
difere
espelh
projec
procu
univer
opiniõ
adian
mostr
serve
integ
seis
camp
josef
carlo
eram
mer
ação
ates
anacron
685
hesit
supera
construtore
ngu
exibem
questio
cronoló
669
pistas
principa
integra
literarie
mundiv
contem
testemu
autenti
compên
referen
textuali
referen
coisas
modific
genoló
imagin
indexa
contam
conver
impos
sobres
acentu
autóno
bessa
precis
ilumin
indire
consti
ocorri
quiser
tornar
clássi
literár
profé
quase
absol
agust
manu
esque
gabri
revisi
exter
fingid
nome
recria
aqui
cump
ludíb
cláud
teve
deixa
lirism
oficia
refle
cade
crític
insis
llans
omit
rníti
nele
líric
718
metat
franç
assis
espec
filhos
denun
espaço
dicioná
represen
surpreen
parece
contem
metros
reconh
duzen
presbí
hercu
narrat
morto
serviç
dizen
neida
olhar
nota
letra
post
euri
situ
o-s
vamos
mãos
dentro
datas
invenç
inicialme
amor
coincidê
publicaç
empren
omnisc
preocu
mome
respei
esque
leitor
public
pensa
image
itálico
leva-n
crian
radic
altur
marc
nova
már
695
706
alun
mulhere
caminh
forma
intempo
represe
aproxim
costum
encon
corte
polític
chego
ment
emer
ustria
revis
idem
scar
fora
integra
entrev
portuguê
futuro
imaterial
momen
quatro
fronteir
porém
reescre
movim
proces
reuniõ
secreta
sugerid
atribu
eviden
esper
posto
event
posiç
conf
reino
historia
título
recons
oprimid
determ
exempl
apesar
autono
casa
coloca
altera
passa
país
sentido
reinad
início
nomes
altera
object
dela
marta
anális
tinha
sécul
entrad
palavra
vinte
atravé
manu
teria
antónio
verdade
históric
iluminis
privileg
alexan
editor
século
passa
nela
etern
novos
excer
palmos
livros
significa
aspecto
gosto
732
partir
barroco
históri
tempo
construír
memó
ficcion
permitem
dizer
portugue
referênc
transce
encontr
discurs
referen
nature
apont
xviii
facto
trata
dad
694
nele
verdadei
libertaçã
falar
plano
701
estatu
brasil
enquanto
apenas
devido
quinhen
ambien
reconst
sujeita
catego
notar
diant
figuras
vezes
667
693
ibidem
quer
historiog
metaficç
kaufrna
adeus
socia
então
671
acompan
tradicion
andava
quadro
literatu
instân
mentir
gera
43
estamos
justamen
importân
libertartrês
escreve
fazend
marca
vontades
povo
ultrapas
fizemo
entrar
vista
tipo
668
precisame
próprio
movend
engrand
dimens
ficciona
além
biogra
reis
nome
nunca
tempora
próprio
universo
intempo
tempo
igreja
correspo
pensame
ultrapas
textua
666
730
trabalho
classifica
perspec
termo
tipológi
assim
sempre
deste
731
dimensã
ente
implica
textos
sido
heróis
maria 674lisboa agora
integra
literár
gusmão
realidade
contam
sobretud
casos
703
sendo
helena
fala
personag
lopes
olhos
grande
cerdeir
42
explica
focalizaç
atenção
data
739702 670
727
alteridad
silva
romanc
própria
função
diferentes
poca
alzira
seixo
visão
carácte
embora
729
autor
teresa
históricos
maneira
dois
elementos
708
734
presença
lado
cristina
hoje
género
717
modo
portugal
livro
acontece
seja
724 44 narrado
vida
723
737
acontecime
acção
permite
697
705personagen
700 real
escrita
caso
poder
histórica
735
pode
homem
mundo
726
leitura
homens
facto
733
fictício
728
narrativa
67241
ficção
verdade
40
46
anos
histórico
neste
espaço
ainda
696
discurso
título
707
passado
683
740
obratambém
passarola
712
725
0.0
convento
682
738
39
722
664
704
presente
texto
665
saramago
narrador
714
45
661
662
tempo
memorial
romance
38
-10.0
história
721
-30.0
-20.0
-10.0
663
0.0
Figura 3.9.2.3. Espaço semântico retido para análise, baseado em 88 textos usados no ensino do
Memorial do Convento de José Saramago. 129 A tabela de frequências X(n, p) associada a este novo biplot – a usar nas
experiências deste capítulo – tem dimensão n= 5015 palavras e p= 88. Com d= 45
dimensões garante-se 82% da informação ou variância de X.
Examinando este novo ES vê-se que nele destacam-se os textos 700, 682,
associados a palavras como “capítulo”, “Blimunda”; os textos 38, 45, 662, 663, 721
associados a palavras como “história”, “memorial”, “romance”, “tempo”, “Saramago”,
“narrador”.
A posição central do espaço semântico é ocupada pela palavra “convento” – o que é
muito apropriado.
Para obter uma percentagem de variância de 85% da informação total são
necessárias d= 50 (das 88) dimensões para o espaço de representação do ES.
É este ES o usado nas experiências descritas no que se segue, em 3.9.3., 3.9.4. e
3.9.6.
3.9.3. Dados EX-MIN. Experiência nº 1.
Nesta primeira experiência usa-se o ES descrito em 3.9.2. (88 textos extraídos de
manuais de ensino do Memorial do Convento de José Saramago) e 60 textos de resposta
dos estudantes á questão do Grupo I A), conforme descrito em 3.7.
A proporção destes 60 textos a usar para treinar o classificador (AT) e para testar o
mesmo (T) é um dos dois parâmetros a fixar pelo investigador.
O outro parâmetro é o número k dos vizinhos mais próximos, sobre o ES, de um
texto que se pretenda classificar automaticamente.
O valor deste parâmetro é um geral pequeno. Nas experiências realizadas neste
trabalho, k varia entre 1 e 8.
O sistema PAET usa as classificações (ClProf) atribuídas pelo Professor (neste
caso, professores contratados pelo Ministério) aos textos da amostra de treino (AT) para
calcular a nota (ClSys) a atribuir pelo sistema.
As classificações automáticas atribuídas pelo sistema a esta amostra de teste (T)
são, em seguida, correlacionadas com as classificações atribuídas pelos professores
contratados, validando-se assim o classificador.
Nas experiências aqui realizadas e na versão atual do programa PAET,
ClSys 
1 k
 Cl Pr of i
k i 1
130 isto é, o sistema atribui ao texto a classificar uma classificação que é a média das
classificações dos testes da amostra de treino (AT) que correspondam aos maiores
cossenos (maiores proximidades) entre o texto a classificar e os textos da amostra de treino
(AT).
Na presente experiência, fixou-se a proporção de textos a usar na AT em 0.75, o
que significa 0.75  60 = 45 textos na AT e 0.15  60 = 15 textos na amostra T.
Trata-se obviamente de números insuficientes de acordo com a literatura consultada
mas que, mesmo assim, são úteis para validar aspetos importantes dos sistema PAET.
Projetando sobre o ES os textos da AT e da amostra T (Bellegarda, 2007) o
resultado é o posicionamento destes 60 textos adicionais (45 + 15) sobre um ES que, pelo
que foi visto no número anterior, usa d= 50 dimensões para garantir uma percentagem
acumulada de informação (variância) de cerca de 85% da matriz X de frequências.
Esta projeção não altera o ES que serve agora de referencial a esta e a outras
experiências. A inspeção visual do biplot representado na figura 3.9.3.1. permite formar
uma ideia da situação, usando apenas d= 2 (27% da informação) das 50 dimensões
necessárias para garantir 85% da informação.
Na figura 3.9.3.1., obtida pelo PAET, as setas a negro correspondem aos textos da
AT e as setas pintadas de verde correspondem à amostra de teste T.
Usando a funcionalidade do programa PAET – ver Manual no Anexo A – pode
examinar-se interactivamente a posição relativa desses textos e “tomar notas” úteis à
interpretação do que está em causa – o que não pode ser apreciado numa imagem estática
como a anterior.
Note-se, contudo, que este biplot representa apenas 22% do total da informação
total de X. Ao examinar o biplot deve sempre estar presente a perceção de que as
proximidades entre textos (ângulos pequenos) observadas no biplot podem não
corresponder à realidade da dimensão d= 50, por exemplo, em que estão representados
esses eixos (Vairinhos, 2003).
No caso da experiência aqui descrita, para cada um dos 15 textos da amostra T
foram calculados os cossenos dos ângulos de cada um desses textos com os 45 da AT.
131 capítulo
10.0
baltasar
padre
mafra
blimunda
bartolomeu
lourenço
máquina
construção
pedro
711 partida
conheciment
monte
voar
viagem
trabalhos
684
casal
junto
688
nascimento
pedreira
sete-sóis
vela
tomamos
infanta
assistimos
descreve-se
regresso
holanda
690 bárbara
acompanha
doença
encontro
promessa
final
sebastião
decisão
venha
713
infante
689
roma
scarlatti
depois
primeiros
basílica
parte
feita
716678
trabalhar
voador
vemos
deus
desaparecim
686
676
seguindo
mandar
estabelece
francisco
milagres
príncipe
arder
disse
altar
fala-se
apara
expropria
aniversário
revelação
envolviment
entretenime
epidemia
entretém
capítulos
toma
paço
faz-se
febre
tourada
espingardea
empoleirado
edificar
gastos
estragos
poderes
benediction
barcos
marinheiros
esmagament
incêndio
participar
miséria
funerais
assiste-se
descida
científicos
aumentar
beirinha
vergas
boeiro
cólera
sujeitos
suicídio
informados
informar
informal
amarela
terras
obrigados
crianças
corrupio
jornada
convida
ocorre
frustração
réplica
quinta
discretamen
venderem
janela
mateus
conseguidos
conta-se
constrói
pontaria
religiosidade
reparar
sagração
conclusão
sádico
cura
teja
relacionamo
região
provar
damo-nos
dá-se
tenho
recomeçam
sobrinho
agricultores
alentejo
contrabalan
haveremos
esquerda
inquietação
miniatura
procissão
música
pedra
sabe
reais
degradação
reiteração
falte
primeiro
baptizado
chuva
sopre
inauguração
inaugurar
neve
visitas
dirige
tranglomang
vento
caia
começa
cunhado
solou
alague
extrema
toledo
igrejas
visita
terreiro
contacto
pobreza
pero
fogueira
revelar
torna-se
chegar
segundo
passagem
breve
setecentos
caballeros
jerez
família
filha
fosse
sonho
somos
caracteriza
ambiente
transporte
domenico
alto
tentativa
ento
710
jogo
sabemos
diferença
casamento
milagre
professor
corpo
notícia
participa
voadora
oposição
concretiza
outubro
franciscanos
abre
pinheiro
irmão
escolha
primeira
atravessa
riqueza
encontramo
origem
fazer
estão
palácio
687
marques
nesta
projecto
segredo
inicia
palavra
679
alquímico
filho
perdeu
medo
respondeu
auto-de-f
busca
lemos
715 719 680691causa
nuvem
diversas
681
gancho
excesso
voaram
pergunta
vime
ferro
suspeição
libertar
união
simbologia
construir
antigos
firmes
ouvido
ouvir
favores
totalidade
tornou
elemento
fidalgo
seguem-se
espiar
indulgência
efectivo
voado
voou
preparativos
poderemos
estrada
estarei
retirou
benévolo
braços
majestade
peregrina
esperanças
chamam
patriarcas
frequenta
viveram
gabar
voei
responder
reparou
trazem
mora
sentou-se
séquito
impertinente
balões
verei
perguntou
esferas
spirituel
cerca
conjugação
constru
acomodasse
noite
acolhido
obrigações
lembrar-se
cresceram
corre
frotas
ardeu
reparo
distrai
saiba
materializa
intercessão
conseguir
junte
universellem
tropeça
valido
troça
pudesses
tendo-lhe
porta
tens
custo
sóis
honestamen
honorífico
fondamental
flor
finge
físico
fases
capelão
luas
vim-te
vinda
louco
instituído
estranhasse
etapas
difamações
dezanove
dieu
entardecia
ensaiar
ndia
tocarei
vieram
suspeitarmo
synthétise
esconde
essência
estações
chamas
passaria
ordre
misterioso
estivesse
plenitude
preparar
retórica
encontros
enganado
enfadar
secretament
secretos
houve
ciel
lutar
perca
subitamente
inquieto
pano
pátio
abre-os
acontecera
abóbada
orador
vivant
aspirou
deificação
podes
representam
résulte
692
queira
fechada
feitas
trarei
setecentista
serviu
morre
exercitar
sentimentos
sequer
sermões
sente
transgressiv
tipicamente
colaborador
auto-de
bairro
liberta-o
impede
veículo
colher
clamar
intellectuel
luminosa
l'union
perturbar
profundame
escarlate
produit
cardeais
celeste
conjonction
conivência
ternária
terre
obrigam-no
número
nombre
lembre-se
lembrarei
criador
fugido
atravessava
aproximava
desmanchar
quiseres
unidade
unir-se
simbolizando
símbolos
dissemos
códigos
vendados
combina
l'homme
iuris
queima
testamento
contemplou
constroem
tempestade
constituída
teriam
juntos
juntar
tri-unit
trois
refugiarem
remetem
reina
dogmas
comunicada
conciliar-se
conduzido
sacro
interiorment
leia-se
l'être
gritou
grito
pontos
sobe
dominado
dores
diz-se
intrigas
guerra
harmonia
declamações
faltando
aparece
apagar
exemplar
fingimento
forçados
fogo
escapa
antagónicos
ansiosament
anti-poder
excentricida
exceder
exaltar
revelam-se
física
enxugou
exprime
tornaram
capazes
tornando
encontrados
insuperável
andorinha
apertou
oxal
envelhecime
envelhecer
violentamen
canseira
virtuoso
canoso
violência
violento
tornei
totalit
l'ordre
tocou
cansa
escondido
sustos
chega
eleitos
ganhando
fragmentári
frágil
eternidade
estudante
pretendem
estilhaçada
deixavam
estavam
estimado
estranha
deixara
estrelas
esteira
destrança
destrinçar
destrui-la
diga
entender-se
encorreado
enlouquecer
nascido
existir
sebastiana
segurar
igualmente
trabalham
canonicame
viéssemos
iluminados
canonici
humano
tocar
mariana
malho
esperávamo
escolhido
esqueleto
esquerdo
espelhos
surgindo
escrituras
esperou
chamariz
ecclesiastici
inflamado
inferiores
eclipses
participasse
paralelismo
pancada
partilha
panela
absurdamen
absolvidos
miticamente
metálico
meteu
missa
voarás
voltas
fortes
fraco
frei
apresentand
deitando-lhe
desferindo
deitou-lhes
descaem
desce
plebeia
plena
primavera
primazia
procurar
respectivam
ressequido
resistência
resistia
retira
feminina
enferrujam
enfrentam
mordido
semelhança
sentam
sejam
selar
senta
complement
comparando
completas
comparada
licenciado
compaixão
completar
calar-se
veteram
batendo
brancas
científico
tiveram
bigorna
víamos
candeia
barba
brilhar
beiral
logo
local
vêem
cheia
aulas
versa
calcou
hóstia
liberte
logro
caldo
batia
libri
base
masculina
pescoço
pedreiros
pegares
piedosa
pegava
peles
esclarecida
souberam
profano
sonhado
escura
sopas
sujo
carregada
casados
duvidosas
inaugural
amarelo
ambígua
incógnito
doutor
incipit
parece-me
pareces
abençoado
açougue
académico
abre-lhe
acabasse
acordado
névoa
ntima
ocasionou
cortam
cortado
criam
corta
merece
mofo
visionário
vitória
forja
vivem
aproveitava
assente
archote
astros
arca
preconceitos
precisam
polariza
pregador
prodígio
precisa
estalava
põem
despertam
destacam
reportorium
reposteiro
represent
feitiçaria
trazidas
querem
trazia
serviria
mundos
sequência
separam
colectanea
cobrem-se
impalpável
bacharel
cobertura
libertada
bálsamo
cobrindo
balão
vejam
avisos
rugas
cintura
rubro
civilis
ruína
clarão
vê-la
salto
mecânica
mbar
mato
lume
perguntava
permanecer
perguntada
sugerem
sublinhar
cedesse
cegos
consclencia
constrói-se
construído
tapado
d'une
acompanh
acharam
nuvens
aceitas
achar
ninho
nicos
nove
julgaríamos
ontológica
oprimido
ombros
lembrou
olhava
opera
lendo
coto
metade
fugir
atormentad
atirou-o
grávida
golpe
precária
praça
pólos
desmanchou
unificadora
simbolizado
simbolizam
concepção
concordou
confissão
sabedoria
coetera
saiam
qualidades
puxou-o
puxou
quam
aliviou
cumpre-se
contente
tempera
temas
tenaz
testa
tecto
acusações
acusada
noutras
cristianizado
lágrimas
lados
pontificum
recentiorum
rechonchud
universum
usamos
universi
tristezas
raspa
ramo
vale
trio
regressava
sinédoque
renegar
regaço
divulgados
diversament
divinização
doctorum
diviniza-se
dito
condutor
condição
comida
sacrifício
saberias
iríamos
inventor
inverno
provar-lhe
punho
conselhos
deficiência
defeito
dedinho
lamacento
lamela
lareira
guardava
pôs-se
usboa
reconstruir
recolheu
sobejavam
sobrevoa
sobra
dorme
agarrarem
agrilholados
afirmativas
alcunha
alegrias
aliadas
decretalistas
continuado
decretais
dava
sólidas
alastrado
ajuda-o
declaro-vos
hebraica
720
fois
aparências
aonde
exceptuand
execução
ricamente
foram
escândalo
equivalentes
eróticos
erudito
extenuada
facilmente
facultando
extremo
faço
faltem
apelidados
demasiadas
excêntrica
examina
devagar
devendo
risada
rins
finalmente
entregam-se
entrava
famintos
farsa
cantarina
capelães
tomás
torres
cara
tora
angéliques
instruçáes
ostentadas
painéis
pagens
pagam
zumbaias
depreciativo
demorando
estufa
poço
ensombrada
entendiment
ensinam
enviado
explicações
faziam
humildement
canonistas
tornozelos
idênticos
violando
vinham
tocava
virada
viria
mandando
marcação
espiritualida
esquecendo
escondiam
escondida
symbolise
suspeitas
talhados
symbole
talha
chamava
chamou
chapéu
empurrava
encarnada
ecovisão
encarna
efeitos
effet
ordres
orfeu
xabregas
voyaient
gemem
francês
desencontra
estrangeira
desenhado
desacertar
prescritas
estribeiro
desertava
europeia
estáticos
desenho
derruba
estuda
estaria
esteja
presos
estás
dificuldade
digam
digo
retratadas
retratados
enegrecida
nascesse
naturais
secretários
secretário
satírica
iluminando
humanos
barregudo
brandão
humaine
ilustram
barrete
traçam
bien
l'on
madeira
maiores
maça
luzes
mâle
pentateuco
perdura
perdem
perdão
escolásticas
espelha-se
subitament
esperando
espanhóis
esperava
suprema
escravos
certamente
castelhanos
c'est-à-dire
chamamos
chamado
certeza
céus
c'est
inquisitorial
ambos
dynamisme
dynamique
anacrónica
inimigo
passamanes
participação
partilhar
patéticos
passes
pálida
absolutamen
abstinência
abraçados
miudamente
metendo-se
mito
voluntários
forrada
voltou
vivo
viva
galés
aproveitado
assaltando
aprende
assedia
apostar
giravam
principaleme
desgarradas
planétaires
desejáveis
procurasse
desconfian
procura-o
deitava-se
descobre
procriam
premiere
descalça
descrita
pregão
deitar
pista
retemperad
reservados
resgatados
resposta
resultou
felizmente
femelle
fechar
encontrarem
moralístico
morreu
mortalha
mortal
sentava-se
semânticos
sentença
sermão
transforma
transgressor
ciliciosament
transgridem
imediações
completeme
romanesco
localidades
camaristas
compagne
baptizada
verificável
baptismo
liteireiros
budescos
austríaco
colhendo
cancelos
rodeada
roubava
complet
viagens
lisboam
belos
boca
rodeio
ligados
cingem
trágica
rostos
vedras
levada
ligado
liteira
horas
bocal
lixam
cabe
cima
aussi
caiu
bate
rota
pescoceira
perfection
perigoso
pena
pinto
somando
esforçam
profecias
sombras
escuras
escasso
escape
cardinalícias
cardinalícia
cardinalício
carcereiros
carmesim
centrais
carícias
cargas
cena
conhecido
inaugurando
amoralidade
informar¬se
inacessíveis
crucificado
consabida
dormiram
dourados
amoroso
amantes
doutores
durailte
amada
amanh
talmud
teclas
amar
amos
croit
panos
parede
papa
obscurantis
acompanhad
abandonar
objectivar
acreditam
nergies
acabe
ntimo
convencia-o
cortadores
corregedor
cosmético
operários
conversa
conversar
opressão
cósmica
cordas
opõe
olha
mergulhasse
mendigos
meros
vivências
visitar
fugas
atravessado
atavam-nos
arrasta-o
aquando
armas
atraso
arde
privilegiados
precisava
precipita
désigne
poetas
desprendeu
despedida
repetia
quintais
trevas
sexualmente
recusava-se
redentor
servido
recusa
servir
mouvement
movem
multidão
distinguem
distintos
directo
serás
sept
impossibilida
salteadores
improvisada
clarividente
levantar-se
levantando
levantadas
levanta-se
l'éxistence
saltarelos
cocheiros
salda-se
imposta
classes
azeitão
coches
salvar
veludo
claras
cobria
coche
avião
interesses
interditos
materna
persecutório
perseguição
quadrilheiros
queimado
subversão
sucessivos
queda
cegueira
cauda
ceci
conseguem
terminaram
constantes
tardavam
cruzado
tecendo
tarefa
teme
d'un
ontem
journée
juntava
lacaios
juízos
melhoras
fuligem
fugiu
arame
prata
valorativos
reagem
recebe
tropa
valor
sintagmática
refugiada
sítio
dogmática
confere-lhe
condenada
configuram
começar
sacrificam
sagrado
concluira
comunica
confins
saía
sacramentai
sacraliza
sábios
interiorizada
involuntaria
investidura
inutilidade
isotopia
medicina
italiano
inverso
joanina
jejum
jogos
permitir
advertência
alojam
contactos
dédouble
dedos
curar
adiantada
addition
adaro
adam
cristã-nova
lavradores
letrados
leituras
cristo
leis
guardado
gritam
variantes
variando
realça
recri
vais
relapsos
regressa
diversificada
doméstico
divino
confunde
começou
comédia
comer
intolerância
introduzi-lo
intersecção
irregular
pungente
provocou
próximos
afinal
alienam
contíguos
tensões
dans
curtas
curta
cycle
terço
largo
l'âme
harmónica
solavancos
sobreviver
sobrevoar
sobressai
sofrem
sociais
donne
alcorão
alheios
alheia
debandava
contrasta
decidir
alagados
ajudam
homogéneo
hébreux
rgão
faltasse
falsa
aparecendo
anticlerical
aparte
antiga
anti
exclamativo
ridicularizad
florescência
fogem
fizera
flatos
escândalos
esbeltos
escala
extenua
faça
aniquila
apelido
anno
ouvindo
ousais
ouso
excelência
excelente
exagerar
devaneios
deverão
entusiastica
enumeração
episódios
entoando
favorecendo
fanático
fausto
fanico
visionária
cantora
ibérica
capital
toscos
cantar
captar
capaz
capar
ltima
marcando
marcha
insubordinan
andamentos
encomende
andaimes
elevação
apêndice
anexim
ornamentos
pagam-se
oscilavam
oscila
pagai
pais
zarolho
zação
geradora
gennaio
densidade
estilização
de'molto
evocada
deleite
pobre
devotament
determinar
devoto
fidalguice
fidalgos
ficaram
navios
expectativa
explica-lhe
explicitação
experiência
explicativa
virtude
vindos
ignaro
virem
violas
virar
vira
maniqueísmo
manutenção
maravilhas
mandou
manter
manos
escorreitos
suspensas
esconder
suspiram
esquecer
estadia
tábuas
tafetás
estado
emaranhado
analfabetos
edificador
edificação
emprega
elvas
edifica
eis-me
elogio
ordens
mística
gasparini
garantir
ganha
vulgar
vulgo
estrangeiros
estreitament
estereotipad
desaparecid
preocupava
esterilidade
prenunciava
estivermos
desacordo
pretensão
desenvolta
desenrolar
estranhar
podem
estejam
deserto
estética
deixam
destinatário
desvia
retratada
retóricos
festteggio
fernando
enormement
engenhoso
engenho
necessária
nascem
nasça
exibição
existem
existia
secções
se-ihes
seixas
ilustrativos
limitarem
igualdade
canónica
benéfica
bendito
breves
ciclos
bens
toca
maritaggio
luxurioso
marreco
marido
maest
luzir
percussão
percurso
superlativos
suavíssimo
esperança
supremas
suplicante
escrito
escolher
escudos
escrevo
esperar
escreva
sonata
espácio
súbitos
supõe
surge
súbita
casamentos
cerimoniosa
casando
carta
influenciado
indiferente
indignação
inovação
injustiças
instalado
ambíguo
inscritas
insinua
indica
amen
paralelística
pandeiretas
pedagógico
pecadores
partições
pecadora
parentes
particular
passou
pedinte
patente
palazzo
paradas
paraíso
pátrias
pavor
pátria
pede
peça
peca
pálio
abundância
abundantís
abundam
abrigo
neto
ofícios
oferta
oiça
metaforicam
ministrados
misturavam
metrópole
misturada
medita
frequentam
fornicardes
fornicando
freiráticos
vivessem
formosos
viúvas
futura
vivaldi
fusão
visto
vivia
apresentada
apropriar-se
aproveitand
assombro
associado
ascender
apostasia
artífices
artistas
assiste
gigantesca
gesto
desculpabiliz
procurando
descer
eventual
poderosi
deitando
deitados
principe
desejo
designa
descaro
desejos
podia
desregrame
desrespeito
desprezo
responsável
resistências
repudiadas
reprimidos
requebros
resultado
restos
fecundíssimo
feed-back
queixos
queluz
feio
napolitano
moralistas
morgadio
morrendo
mortuário
morrem
nápoles
musical
exerceu
sensibilidade
semelhantes
semente
senão
composições
compositore
libertinagem
cadenciados
transitavam
transitórias
implicações
atrevessem
transgredir
compatifica
chegava
completos
chegavam
brasileira
compara
roubadas
tínhamos
bebedice
beckford
implorar
compare
ausenta
bebendo
coloniais
beliches
levados
bigamia
comova
rosário
bisneto
bailado
veriam
libreto
impõe
camas
bolsos
veicula
brusca
beleza
trama
romba
honra
leva-a
tiver
lidade
bocas
caiba
risco
ritmo
vede
tipos
tinta
matéria
mastros
inteiros
penitência
península
pensativas
pesquisas
pensar
pilha
proporciona
propósito
subordinativ
subjectiviza
escaparem
subordinati
sonhadora
esegui'nel
produtiva
profunda
produtos
promete
produto
sujardes
sozinho
spagna
esforça
queimo
sonhar
sugerir
somas
status
escuto
sons
admirável
caricatural
casual
amadurecem
conscienciali
tecladament
consagrava
duplamente
doutrinária
duram-lhe
conjuntivo
tamancos
cronistas
dúvidas
doutra
duque
tecla
obscenos
achacado
acredita
normas
abertos
obrara
nelas
nica
oportunidad
ociosidade
corriqueiro
conventos
cravistas
correntes
criadores
cortesão
ocasional
correntio
crescem
cravísta
cravista
cortejo
cópia
corto
olhai
crer
mestre-de
méritos
mestre
moita
mesa
fundamento
fundadores
frica
fria
arquitectural
aproximação
armónico
atendida
arquivo
asturia
arbítrio
armou
atrás
atar
gozam
gostos
pragmática
policiava
precisos
poético
desmaios
despejar
unicamente
querido
trazido
quero
quilo
qu'il
severament
significativa
significativo
recusada
reduzida
sintéticos
servidor
sexuais
servem
motetos
motetes
múltipla
muda
m-se
distribuiremo
distantemen
disfrutando
disso
discípulo
serenissimi
saltássemos
aventuras
impressões
verdadeiro
salvarem
impresso
levarem
impostos
liberação
santiago
sapateia
rústicos
salvá-la
saiu
balança
sairão
l'heure
cobrar
cobro
velas
rude
bach
permanência
persecutória
perseguindo
personifica
persuasiva
perseguir
substitua-as
quaresma
quatre
adoece
celebrarsi
cavada
cedo
cultura
cruza
culpa
culto
tarda
tarimbas
tardaria
nitidamente
notaram
novas
judicativame
julgamentos
justificar
lembram
criarão
oliveira
onírico
julgue
lenha
laço
olho
monárquica
monjas
grávidas
graciosa
graveto
grau
portogallo
pompas
pratas
prazo
receberam
ultrajada
recebem
razões
rebelam
receber
reacção
tribuna
trineto
rastos
rabo
refere-se
relembro
religiosa
simo
ditemática
dolorosa
sacramentos
confiscados
conhecer
começasse
confessor
concebe
sacrifica
sagrada
concreta
confere
comuns
sabeis
sacros
saciar
inusitada
italiana
irmões
irmãos
invés
ironia
pudessem
purgatório
puseram
prosaico
aliviar
alti
consoladam
te-deum
tendendo
tetraneto
curioso
defunto
teimais
tesouro
teia
adiantado
criticada
crimes
lazer
porquanto
possuir
populi
utilizados
vagueia
varrasco
raminho
vaidoso
varões
recorte
variam
vazão
reçoit
raiva
urdir
vaso
relacionado
rematando
regressar
relacionar
reinariam
sinal
situa-nos
registos
regras
regio
docemente
dizem-me
dividido
dividida
dívidas
dízimo
confundida
comentário
comilança
introdutor
protagonista
psicológica
provérbio
protege
psalmo
ptima
alienação
afectivo
afectiva
aliena
afiada
defeituosos
damascos
dedilhada
deficiente
danação
dando
controle
defesa
dança
lapidaridade
latinizantes
lâmpadas
lançada
guardi
recomendou
sobredourad
sofrendo
soldados
solfas
sofre
alenxandre
agraciado
agravada
algarves
agradou
agentes
alheio
decorreram
contraditória
continuam
debilidade
contrata
habilidades
haendel
hábito
declarar
homenagem
historicamen
homossexua
hipotáctico
hipocrisia
heranças
hinos
673
faleceu
ribamar
rezas
fomos
fontes
falar¬lhes
falando
falas
anónimos
ridicularizam
revisitação
focinhos
fluente
firmino
fluido
forem
fitas
fixo
equipament
escadaria
esboços
ermo
fachada
tornam-se
torná-los
aplicadas
apontado
animado
aplica-se
apoiou
andou
apelo
ouvirmos
dependência
exactament
demiúrgica
delicados
depende
deve-se
deu-lhe
diárias
reunindo
entortar-se
entrelaçand
envolviam
entrarem
envolvido
entra
expõe
expo
topografia
toponímia
torreões
humores
louvado
capelas
idades
cantam
topada
loucos
topos
lucília
total
marcadamen
marcolino
chegassem
encieirados
anástrofe
andamos
andada
elucidativas
elíptica
orientador
página
zacarias
genial
denunciando
demoradam
deixemos
pretendia
estilístico
presume
evitar
pluvial
dezassete
diegético
destrói
diálogo
ficamos
encontrou-o
entanto
entende
naturalment
nascida
nasci
naus
segurando
segunda
seguem
sarar
vilipendiada
humildade
canónico
trabalhe
ilimitada
virgem
vírgula
ilusão
viram
longe
ii.o
vier
manipulando
maneta
mão-de
manh
escovam-se
escrevemos
espontaneid
surpreendid
escritos
tadeu
surre
talho
encarregado
embainhar
indiscretas
individual
edifícios
infalível
emente
egipto
efeito
ecoa
egas
passagens
passarinhos
passaram
passar
ordenou
mistificação
mimetismo
vocabulário
frederico
frásica
frase
europeizant
estivessem
pretenso
previsto
poderia
plantas
estarão
dignidade
repressão
respeitar
resolve
retórico
feridos
engenhosa
enfeitadas
exibe
sátira
localizações
comparado
tivéssemos
imaginado
braço
vermelhas
bernardes
biblioteca
brilhantes
atribulada
científicas
limitações
benções
tivesse
vestidos
cânones
brancos
hospital
caladas
vicente
choram
lombos
vestem
limites
ver-se
loggia
aturar
brilha
lógica
lindo
brás
bibl
macau
perderão
perecível
pensou
pias
supliciados
esparvados
esmagado
escultores
espalhar
espécies
subiu
esgotar
escola
subir
suave
sumir
cerimónia
cerirnónias
chagados
cerejas
castelo
carvão
carlas
carro
inconsciente
independent
influências
inscrito
ambas
amito
parecem
pediam
pátios
pedia
parou
passo
parar
acabámos
acabarão
acaba
abolição
abside
ocorrência
ocorrido
ocorreu
oitenta
oração
oral
metatextuali
metatextuai
modificando
mobilização
minudente
metáforas
modestas
misturam
minorcas
miserável
metáfora
modelos
modos
meia
formaram
visualismo
funerária
visualizar
voltadas
formálio
visíveis
gaiolas
visuais
viveza
articulados
assembleia
aproveitar
assassina
aspereza
aspira
assis
geraldo
giusti
desconheça
podíamos
precursoras
designação
descalços
pregados
desejava
descrito
pisado
prega
pires
privacidade
príncipes
prodigioso
procurou
retalho
tratamento
travado
querer
feitos
recuperando
recuperação
significação
refeitório
serra
mostrassem
monumental
morremos
músico
nacionais
morrido
montes
naquilo
morto
disciplinas
direita
direito
exemplos
senhora
sensações
sentenças
seminário
seria
série
transposição
complexidad
comporta-se
transportou
imorredoira
transportar
salienta-se
caminhos
transepto
compridas
implumes
transgride
caminhar
romanos
ausentes
vergonha
roupinha
bisonhos
bassílica
colocasse
trajectos
brasílica
canários
romano
bruxedo
cabeças
bastaria
batalha
imortais
camisas
bruxaria
bastava
cinzento
veículos
rocaille
bulletin
horácio
tiranos
ventura
tirania
rítmico
autos
claros
cisma
rufino
impor
verde
burro
caída
ruins
imita
típica
ritual
clara
rosa
bela
baía
intencionalm
mecânicas
materiais
perfeitamen
pertinentes
perguntar
pensam
pensa
proporções
progrediam
sonhando
profissão
escuros
profere
admissível
cepticismos
catadura
catacego
centram
cenários
católico
centra
crornatismo
ingenuidade
dramaturgo
crueldade
contém
infringe
dúvida
dupla
dura
técnicas
tampo
tecido
objectividad
acentua-se
numerosas
negócios
nomeados
obrigação
nocturnos
normativa
observar
objectiva
notações
observa
nicanor
acesso
acolhe
nudez
negros
acho
crescimento
conversação
lembrando
operário
cotovelos
cozinhas
costuras
cosmos
lendária
costas
correu
jorra
melancolia
mestres
meses
frio
arquitectóni
arquitectos
atentament
aquecidos
atinge-se
arbitrária
atenções
aresta
glorioso
gozo
desigualdad
prado
desmistifican
despachem
questionar
trezentos
questões
quitério
quinto
reflectir
síntese
motivo
disponíveis
distinções
distrair
ditados
ditado
levantaram
sangravam
impressão
aves
azul
interessou
medem
jaime
perseguiçõe
perna
quantidade
quadrados
subterfúgio
próprias
subtileza
quarenta
suceder
quadro
adolescente
celas
culminanted
constantem
consulte-os
contenção
contando
cumprida
temíveis
tema
tem-se
contas
terzi
acumulação
noutro
actos
lacrimejante
justificaram
juntamente
lembrados
justifica
judaísmo
labirinto
ladeada
cria-se
onofre
juvino
judeu
olhou
gramática
gravura
pormenoriza
praticament
portaria
ponte
rapidamente
universidad
varandim
trocaram
tribunal
rapação
reclama
valores
valério
trouxe
ubaldo
usado
rasto
vales
relatados
reflexiva
documentos
condenados
conheceram
comecemos
sacerdócio
conforme
sacrifícios
conhecem
conhecida
sagradas
confirma
sabe-se
conclua
sagrar
interpretada
interpretam
inventando
inventadas
inverosímil
irrompem
jesus
inventou
inventos
medida
jesuíta
isabel
isidro
purificam-se
provavelme
publicados
prosódico
púlpito
pura
aerostáticos
aerostáticas
alternando
altares
alusão
alista
definitivame
considerada
degredada
tendo-nos
deduz-se
definindo
tentativas
dade
dedo
aderiu
lavatórios
cristóvão
léguas
légua
lama
leia
posteriorme
postas
posso
rectaguarda
rectângulo
recrutada
utilização
vastas
recta
reinterpreta
soberaname
relacionem
relações
situamos
regista
smith
regra
dizemos
protagoniza
afirmado
alegre
afirma
contingência
controlando
controlo
curva
daniel
laterais
lascado
latina
harmonizand
harmoniza
solo
alheias
alcino
decorativa
continuar
hipotipose
hipérbato
herdeiro
falassem
falo
apareciment
aparecem
apalpais
exclusivame
revolucionári
ribatejo
revistas
rezar
flash-back
força
erecção
facção
antecipadam
antecipação
exaltavam
exaltava
devagarinho
reveste-se
filipes
expressivos
cantores
andamento
aponta
angola
oscilação
padeiro
denegriam
detrimento
devoções
devota
retrospectiv
ficou
identidade
tornou-se
torreão
lubrido
ideais
vindo
maravilhoso
chegada
charneira
empregando
encarnação
económicas
efemérides
eliminação
encaixa
organização
orientação
países
genericamen
voyage
xvii
estranharía
desengana
estiveram
estranhou
estúdios
plural
pôde
desvirtuado
dificuldades
destino
festas
enquadrame
enredo
narratário
narre
ndole
saramaguian
segredos
saúde
seara
humana
vigiando
vigentes
cidadão
ilha
perda
suspeita
suplemento
específicos
superar
escritor
césar
injustiça
inferioridade
influência
indivíduos
educação
indirecto
inferno
instalou
editions
infeliz
pálpebras
participou
partidária
parideira
pataca
ocupando
militância
milhares
milhões
milho
forte
vivos
assume
eventualme
estivéssemo
estraçalhad
desempenh
principais
podendo
pretérito
prémios
evento
destinado
reprime
residir
feições
enganada
encontre
narração
nalguns
dinheiros
sectores
tradicionalist
traduzida
bordeaux
tradutor
câmara
caixa
imaginação
companhia
verificando
implicação
biográfica
bênção
verificada
literárias
lisboeta
ligadas
roubar
beira
lóios
marvila
luta
penetra
pífaro
profanação
esforço
especial
espada
sonhe
sono
caridade
carreira
castiços
independênc
incontornáv
iniciativas
inclusive
amplo
panorama
acabada
abertura
abrem
abdique
acabam
acordo
aberto
abono
cravo
conversas
convidado
convivem
cortarem
oralidade
ocorrem
opinião
mereceu
mereça
moços
fundamentai
frequência
frequentou
formal
volta
assinalável
predomínio
estagnação
designado
potugaise
deícticos
preces
prefira
pior
desliza
repenicar
repenica
travessão
quiseram
trémulo
queres
quiser
reelaborada
serralheiro
reescrita
siécle
mostrou-se
mostram
municipal
mudança
movida
distinguiu-se
discípula
directas
director
sentimos
seres
santo
aventurado
imperfeito
littérature
colóquios
vejamos
vereador
azinhaga
colocado
salientar
colagem
levava
clubes
baixo
verbal
claro
rumo
rufa
bala
intenções
intenção
mecânico
interessa
mbito
perfeito
profundidad
cerâmica
célebres
construída
tamborilar
terminou
cruzam
contem
tambor
técnico
conte
cruz
dual
activamente
noviciado
notação
nobres
novena
lembrança
criar
criado
membro
mónica
funcionalme
atreve
goleg
polifónico
unilinearmen
recebendo
uníssono
unilinear
simbolicame
religiosas
reflectir-se
repare-se
simétrico
referidos
reflecte
referido
distorções
comunista
coexistem
interioridade
mediador
invocada
interior
permite-nos
permitindo
qualidade
propunha
prosa
adormeça
cumplicidade
temporalida
contam-se
constituind
consolidar
conseguiu
tinham
contada
adivinham
noutros
notou
criticam-se
l'escampett
gravita
gritado
poranalepse
porqu
recreativos
raramente
recobrada
variadas
variada
varas
triste
urna
usar
religiosos
simpósios
reinante
remédio
regimes
situadas
comentários
confrontado
comendo
concluído
começos
conheci
saberás
interrogaçõe
interjectivos
intervenient
irreversível
intervir
proximidade
prosseguir
provérbios
publicação
pulso
alienando-se
afastamento
afastado
tendo-lhes
dedicar-se
defendido
tendo-se
definição
terceira
dama
dado
lanzarote
leva
pontuação
posterior
soldado
intrínseca
afrancesado
aforismos
agita
controladora
debandada
há-de
alcançar
declara
havia
herói
anti-épico
exclusiva
ridiculariza
fizeram
eruditos
erguer
anonimato
anónima
devastadora
deve
filosoficame
filosófico
filtragem
filósofos
filinto
equipa
familiares
far-se
tomos
anes
paciência
democracia
deparavam
evocados
dele
evolução
etapa
devíeis
diderot
ficcionista
fidelidade
envolvem
experiências
explicitamen
identificando
humilhados
ideológicas
ideológica
ideologia
tolentino
humor
essencialme
estabelecer
sustentam
el-rei
enciclopedis
económico
elucidativo
empirismo
empenho
anastácio
indústria
elísio
ganhar
frade
wolff
evidenteme
pretendiam
derradeira
derrisão
estática
destinos
detalhes
dilui
festa
enraizado
encontrou
enorme
nasceu
narrar
sedução
sarcástico
satisfaz
vila
iluministas
ilustrado
barrocos
bentham
vieira
hume
perceber
pequeno
superstição
suscitando
escravizar
escreveu
individualme
insatisfação
individualiz
emendar
inserindo
infelizes
emenda
parodísticas
panfletário
paráfrase
patriarca
parodiar
pássaro
abrange
ocupado
ordenado
mill
vocação
volumes
freiras
assumindo
assados
descendent
procuraram
princesa
proclamou
primeiras
desgraça
europeu
planta
deístas
estou
dessacraliza
desrespeita
resgatar
repúdio
residentes
ressaltam
responde
enfim
monumentos
dinâmica
dinheiro
exército
sensualismo
sentimentali
seleccionar
comparaçõe
autobiografi
imaginando
verificação
roubados
tradições
verificou
vertente
atribuía
bocage
típicos
limita
locke
lido
matematicist
intelectuais
inteligente
ludovice
massa
pense
propõe-se
esclarece
subjectiva
stuart
caracterizan
consagrados
informa-me
conotações
consagra
ampliar
inglesa
inicial
inglês
acrescentar
newtonismo
necessitado
acabar
abade
abriu
corredores
ocorrendo
correlação
coordenar
converteu
crescente
correndo
criadora
correia
opta
metafísica
fundidos
arrastados
arrancar
artes
arma
preencher
desses
reduplicação
significativas
significações
serventia
montesquieu
mostraram
discordância
sensação
comprometid
clarividência
velho
verdadeira
colectivo
colectiva
camões
veio
autores
santos
venho
levou
sair
materialism
pertencem
perspicácia
pertencia
substâncias
admite
católicas
centro
contemplado
construtora
constitucion
infundados
construtor
temático
tarde
duvida
termo
novembro
nicolau
nobre
nível
julgamento
lendas
atitude
ateus
graças
graça
rebela-se
r6sseau
tríade
sistemático
reflectem
sintaxe
sistema
comunicante
confidencia
sacralisado
conceitos
conciliar
concede
adquirindo
cumprimento
temores
teses
acusaram
notícias
cristianismo
laicização
lacunas
criativo
criticar
leito
laia
pormenores
populistas
realização
radicalizou
realismo
raízes
variar
regeneração
sinais
relata
dominantes
domingos
divulgador
divulgar
divina
conhece
condillac
irreversibilid
irreverente
invenções
inúmeras
invento
irónico
pública
punhado
proveito
provém
afastar
alismo
considerado
d?alembert
degredo
custódia
teológico
teorizar
tentar
tentou
lançando-se
laudatório
população
possibilitou
possível
rectângulos
reconstruído
utilitaristas
rectificar
u-se
alem
habitual
declara-se
declarou
23
falso
antagonismo
aparecerem
aparenteme
firmada
firmeza
flores
erário
exprimindo
facções
facetas
insurreição
aplicados
apoio
dictionnaire
filipe
entusiasmo
episódio
favorecidas
favorecidos
favoráveis
expressas
expoente
fazenda
capacidades
canto
andando
ostentação
originais
gerações
estilo
denunciar
prestígio
dezasseis
retratos
fidelíssimos
figura
ficar
ficarem
entende-se
touradas
marginaliza
esqueçamos
symboles
esposas
eclesiásticas
empenhado
económica
instituição
indústrias
analepses
edições
passados
parto
francamente
generaliza
voto
fradaria
xavier
vultos
prepotência
desacertada
europeias
deixando
desfecho
plásticas
derrame
desafio
pleno
dignidades
diligências
resolutivas
resolução
engenharia
engloba
nasce
seiscentos
verosimilhan
beneficiada
verosímeis
bragança
bertrand
barroca
vidente
ciência
cidade
cheio
bere
magia
madre
má-f
percebermo
sumptuárias
espaciais
espanhol
soube
cerimonioso
cartografia
chamada
casou
casas
editora/nom
amazónia
ambíguas
injunção
eduardo
passíveis
palhav
paris
absolutismo
absolutista
neuburg
ofício
odivelas
moderniza
medíocre
miuçalhas
ministro
modelo
mínimo
futuro"como
fortalecida
vitoriosa
formas
futuras
apreciada
aspecto
assumiu
prejudicada
proclamado
poderoso
descendo
desprovidos
destacaram
destaca-se
dessas
restituição
resultados
reprimida
restituiu
reptizar
feiticeiros
trata
morte
monumento
moradores
narra
diplomatas
dinastia
exercício
secular
transfigura
baltasarlblim
literalmente
compositor
completa
impiedades
complexa
brasileiro
transição
cabeça
lisboetas
libertino
importa
citação
típicas
rituais
bastos
imitar
roque
típico
ruas
cito
lustrado
matar
matriz
péssima
pesado
subordinada
solucionada
produção
escapar
sujeito
spera
incremento
dramática
inglaterra
incúrias
iniciada
do-se
duplo
acelerarem
objecto
obedecer
negativas
negativa
negativo
obtidos
nomeia
acabou
correntemen
contumazes
corrupções
opressora
corrupção
oprimida
convictas
opostas
jornal
costa
molinismo
meninos
meios
fundamental
formação
arrábidos
aristocracia
arte
governação
gostam
povoamento
precedentes
preciosas
praças
despejando
questão
unda
quis
sexualidade
referência
serviços
movimenta
movidas
mota
dispendiosas
disfarçam
dispendiosís
dissipadas
dissipação
disputa
serem
campanha
comandadas
importantes
clima
imprópria
azinheira
comum
coincidir
santas
vejo
coelho
saindo
venda
intensifica
janeiro
personalidad
persistentes
qualificáveis
sucessivas
quarto
constituem
técnicos
constata
cuidado
território
terreno
açúcar
juntando-se
laffont/jupi
justiçar
fulminante
trinta
trouxeram
validando
receita
relativament
reflectiu-se
releva-se
relaxadas
sintáctica
renitente
reforma
relatos
simas
ditions
sabem
concedido
confiança
conduz
conferida
conflitual
conflitos
conferir
sadismo
saem
inverterem
invulgares
invalida
irão
públicos
alterarem
advérbio
advém
altos
consolidação
consentimen
considerava
testemunho
conservou
conselho
teimosas
de-f
cunho
criteriosame
cristãos
guardar
potencialme
potências
potencial
positivos
positivo
vastíssimo
recorrente
utreque
usarem
utilizar
vasta
reincidentes
soberano
relapsas
situado
dominação
dividiram
domínios
diversos
domingo
intervenção
prova
aliança
alegria
contínua
decurso
dá-nos
reconhecime
recuar
solicitá-las
sodomia
sofia
agitada
alerta
contraste
contribui
debatido
hereges
139
revolução
forçado
antítese
foco
ermitão
expresso
fama
fácil
anjos
dias
dever
diário
enunciado
entram
toneladas
idade
tomar
ideias
tomou
tome
vindas
instrumento
instituída
elevam
genologia
estudos
pobres
pocas
deram
delas
determinado
diamantes
diegética
ensaios
narratologia
nascidos
seguintes
humildes
manifesta
mandado
espessura
esquecem
instauração
passa
garras
desempenha
desenvolveu
ferros
benedictione
calouste
bento
traços
marquês
peso
espanhola
específica
sonatas
supor
inscrevem
anacronias
passemos
paroquial
paula
acabarem
nesses
ordem
mobilizada
modalidade
frequentem
frequente
frente
gheerbrant
descreve
descrição
princípios
resulta
resto
encontrarão
moral
diremos
sequências
senhoras
seriam
sérgio
sena
transportara
transgress
transpor
buscar
cabia
tirar
comportame
imaterial
imolados
complexo
imolado
colecção
livres
rmos
material
lugares
proferido
centímetros
cardeal
informativos
doze
obrigando
números
activação
achado
acaso
norma
conventual
corrigir
visitantes
fundação
fuga
aqueduto
arrobas
polida
quilos
quinze
redentora
redondos
símbolo
disto
sapiência
liberdade
levaram
imposto
vendo
velhas
velhos
código
materializad
materializar
perpassa
permitida
pêro
conseguiram
constam
tico
actualmente
notáveis
lembra
judeus
júdice
gratuitamen
gravidez
porto
turísticos
varanda
reflexão
singular
reler
relato
sacramento
sacrificial
saga
almedina
considera
daqueles
definida
laje
lavrada
crist
porventura
populares
possui
rainha85
vaidade
recolher
dizem
aliar
afirmar
largura
gulbenkian
guias
guas
solidariedad
ajoelhai
alcance
alain
haveria
heterodieg
heresia
rias
erros
facultar
apelam
financeiros
extensiva
deliberadam
fichas
entretanto
torno
frades
pretendemo
difícil
entender
humanidade
escritores
partilhem
evasão
desenvolve
principal
destinamos
completem
linguagem
horizontes
versão
linhas
linha
pegarem
pereira
específicas
iniciarem
incluímos
inserem
incluir
pautámos
pedimos
papel
convidamos
convite
formativas
fundo
associando
76
97
50
109
17
deslindar
desta
67
representad
repente
tratado
sete-luas
sete
recursos
redacção
musicais
exercícios
sentir
senhores
compreende
bastardos
lexicoteca
colegas
autoras
livraria
auxiliar
robert
materialidad
interessara
pertinente
pensando
queimaram
sugerimos
propostas
cronológico
obras
noviços
nuno
cria
funcionamen
arames
atenta
gostaríamos
coimbra
permitam
sucessão
substituída
acto
criatividade
realizado
simplesment
divisão
confrontamo
confronto
inúmeros
público
aluno
considerámo
contextualiz
terem
largas
possa
relação
situam
donde
introdut
alargar
61
reviver
fingi-las
fingindo
rigorosa
filtrar
fantástico
torna
deles
fielmente
fictícias
enterrada
vimes
vimos
margem
chão
instituições
passadista
xito
estreme
desafia
deixou
entendê-las
existência
madrid
chamar
particularme
mistura
metro
mina
forno
gerando
gerou
procurado
pitoresco
estanque
estar
restaura
morreram
morrer
sentimental
sentar-se
semana
sensível
completame
comparação
brechtiana
horizonte
imaginar
audição
bonito
cinco
língua
lidos
inteiramente
pessoa
pessoal
pesos
escaparam
professora
administrativ
caracterizad
cérebro
conjunto
academia
abandona
abrindo
obviamente
contudo
convoca
jorge
mergulhar
meio
formada
viver
global
poesia
questiona
trazer
traz
sete-sois
recurso
refere
move-se
diríamos
senhor
comprimento
colaboração
importante
levantemos
impede-nos
transcreve
saíram-lhe
salientes
levantou
coisa
sala
compor
ventre
catorze
cruzadas
tecer
acima
nico
nora
melhor
funções
políticos
r0is
referencialid
referimos
referir-se
distanciame
ditas
conceição
jeito
constante
testemunha
telheiro
textualizar
notável
note-se
noutra
acusar
criticamente
portuguesas
posições
vazio
diverso
confundem
confronte
intromissões
ptica
afastar-se
daquelas
defendida
tenham
terão
teoria
reconstituíd
custa
hão-de
h~tória
ajuda
falam
forças
fábrica
faremos
capacidade
espiritual
vozes
desenvolvim
estrangeiro
esteve
fica
endo
necessidade
sarl
ciências
mármores
inserida
galeria
voltaire
problematiza
destes
dessa
sentimento
sentidos
ausência
colónia
livre
administra
consciência
talvez
terra
correspond
crescer
meados
actividades
omnisciência
grandes
racionalismo
valorização
trono
simples
reflexivo
relatar
conflito
publicada
alma
contexto
portugueses
introduzido
tenha
possibilidade
recolhidas
alfa
falsas
anteriores
excêntricos
externa
revela
ideia
oscar
ensino
trabalhador
ignorância
marginalizad
partiram
partido
francesa
estrangeirad
estrutura
secundário
companheiro
maior
pequena
característic
paralepse
geralmente
estando
processo
699
mosteiro
claramente
cinquenta
baptista
brechas
círculo
perto
prolepses
memória
glória
levantar
clero
contempor
culturais
referir
consiste
cunha
realeza
intuito
190
ricardo
ribeiro
aparecer
anterior
esboçam
factor
entos
enuncia
exploração
captam
tolstoi
i.o
marcada
marcado
anda
gente
estava
pressupõem
pressupor
deriva
determina
explicaremo
explicar
seguir
emoldura
analepse
passando
premonições
descodifica
semânticas
chevalier
ilustre
maio
sonhos
profecia
informação
incidências
indicativo
indicador
abolidas
abril
oito
artísticos
procediment
destaque
destacar
destaca
restrição
sessenta
mulher
serão
romarigães
verdades
literários
colóquio
classe
interesse
subsequent
profundo
cento
durante
normalment
objectivos
acedeu
lembremos
memoráveis
aquilino
pragmáticas
quixote
signo
distanciada
discursivas
jean
constrangim
leitores
lermos
junho
lello
grandeza
realmente
rememorado
simultânea
rememora
religioso
comerciais
conduzindo
conhecedor
saber
consignados
dons
proustiana
debaixo
solicitando
riquezas
capela
ouro
original
retrato
vontade
descoberta
planos
vidas
carga
carne
informações
paulo
partes
aconteceu
medidas
asas
desse
direcção
luís
nomeadame
lembrar
disseram
razão
situação
tendo
daqui
curso
críticos
crítica
popular
sofrimento
falta
filosofia
andar
entidade
espírito
ficam
natural
existe
escrever
frases
apresenta
poderiam
imagem
localização
rossio
pedras
175
autoridade
levar
moniz
quisesse
conceito
temos
portanto
interpreta
aliás
haver
160
fazem
longo
desenvolver
digamos
espanha
chama
oficial
moderna
minas
viveu
feito
nacional
competência
auto
lição
levam
período
propomos
prolepse
novo
liberta
mecanismos
consegue
kaufman
prazer
religião
consequênci
letra
ponto
régio
domínio
contrário
675
736
físicos
chegam
eleva
narrativas
enciclopédia
europa
narrados
inquisição
abordagem
libertadora
circunstânci
lugar
permanece
acedemos
criação
político
santa
conta
temática
concluir
revolta
antagonista
aparece-nos
exactidão
didáctica
enumeraçõe
expressa
elucidação
emprego
pretende
estudo
evoca
detalhe
fictícios
naturalidade
exorcizadas
longas
inferimos
infantes
podemos
deixa
pretexto
reside
imagético
verificar
tradição
traduz
vértice
pessoas
sumptuosida
espécie
paredes
nesse
nessa
coroa
minimizou
fornecidos
fornecer
assistir
151
127
20
29
47
gerais
problema
privilegia
despreocup
destas
representa
trazê-los
mortes
imortalizado
transmudad
citámos
ausente
integrados
sublinham
duas
cronológicas
consciente
onze
atraída
desmandos
rebuscada
sirva
distancia-se
dista
comungamo
perpetradas
permitiu
substituir
celebração
cultural
adjectivação
monarca
práticas
realista
remete
condicionalis
irónica
interna
postura
recorrência
recolha
registo
alcança
124
685
56
eram
seguinte
diferente
retratado
nascer
seis
espelho
anacronismo
procura
semelhante
integrar
carlos
ação
opiniões
mero
serve
mostrar
veracidade
campo
projecção
josefa
atesta
ultrapassam
universal
simbólico
joão 677
contar
adiante
simultaneam
dedicado
669
718
revisitar
fingidas
exterior
filhos
tornar-se
genológica
denuncia
manuais
esquece
frança
deixar
exibem-se
bessa-luís
iluminista
lirismo
lírica
superação
específico
indexar-se
indirecta
insiste
absoluto
ocorridos
oficiais
modificado
metatexto
gabriela
assistiu
pistas
principalmen
autenticidad
autónomo
cadeia
literariedade
compêndios
imaginário
literária
llansol
rnítico
integralment
integração
ludíbrio
profético
cronológica
acentuam
nomear
neles
ngulo
conversão
aqui
precisas
questionam
quiserem
referencia
mundivivênci
coisas
impossível
clássicos
cláudio
quase
construtores
contemplam
constitui
omitiu
referenciam
reflexo
testemunhal
textualizand
contamina
cumpre
teve
crítico
recriam
sobressair
agustina
hesitar
dicionário
o-se
dentro
narrativo
mãos
surpreenden
presbítero
eurico
espaços
duzentos
parece
metros
representan
82
26
mortos
neidade
nota
olhar
serviço
contempora
vamos
situa
letras
posto
dizendo
datas
reconhece
herculano
103
695
706
marca
emprenhou
esqueceu
preocupa
respeito
imagens
mário
inicialmente
amor
leva-nos
pensado
criando
momento
coincidência
itálico
nova
omnisciente
leitor
radical
invenção
publicações
publicado
altura
revista
fora
entrevista
encontra
idem
scar
emergir
representar
chegou
integrando
corte
mente
forma
aproxima
mulheres
caminho
intemporalid
costumes
política
alunos
ustria
reuniões
evidente
secretas
espera
futuro
processos
eventos
imaterialidad
atribui
112
166
fronteiras
reescrever
movimento
quatro
sugerida
momentos
português
confia
porém
postos
posição
reino
apesar
país
determinada
passada
evidencia
casa
exemplo
autonomia
coloca
títulos
oprimidos
alteram
reconstitui
historiador
entrada
dela
análise
séculos
marta
início
palavras
sentido
nomes
objectivo
tinha
reinado
alteração
vinte
manuel
através
115
35
antónio
excerto
eterno
iluminismo
editorial
palmos
passam
século
novos
nela
privilegiada
verdadeiras
teria
alexandre
históricas
41148
136
732
partir
aspectos
livros
gosto
significado
barroco
construíram
temporal
histórias
118
106
38
694
factos
encontrar
xviii
ficcionais
natureza
apontar
tratar
transcendên
memórias
referencial
discursiva
permitem
portuguesa
referências
dada
dizer
184
701
falar
estatuto
plano
brasil
nele
verdadeiros
libertação
apenas
devido
diante
figuras
enquanto
vezes
667
169
79
693
sujeitas
ambientes
quinhentos
categoria
notar
reconstru
32
ibidem
quer
metaficção
kaufrnan
adeus
social
historiográfi
133
91
671
43
andava
então
instância
tradicional
acompanhar
mentira
geral
literatura
quadros
marcas
fazendo
escreve
vontades
libertar-se
estamos
três
importância
justamente
668
fizemos
entrar
vista
tipo
povo
ultrapassa
ficcional
engrandece
163
dimensões
biografia
nunca
nome
precisament
movendo-se
próprio
reis
além
674
intemporal
próprios
temporais
tempos
universo
666
730
igreja
pensamento
corresponde
ultrapassar
textual
trabalho
tipológica
157
classificação
perspectiva
termos
731
ente
dimensão
deste
sempre
implica
assim
172
58 130gusmão
textos
sido
heróis
integra
maria lisboa
literário
agora
100
contam
realidade
sobretudo
703
fala
casos
sendo
helena
94 53
personagem
lopes
70 178
42
cerdeira
olhos
grande
702
727
focalização
explica
atenção
data
alteridade
670
romances
silva
1173
diferentes
própria
função
44
181 739
poca
seixo
alzira
visão
carácter
embora
729
187
autor
teresa
88
históricos
elementos
maneira
708
734
dois
presença
lado
cristina
hoje
género
717
modo
portugal
livro
seja
acontece
narrado
724 44 64
723
vida
14
737
acontecimen
acção
permite
697
escrita
caso
705145
700 real
poder
personagen
735
histórica
pode
homem
mundo
121 726
leitura
facto
homens
733
fictício
728
narrativa
67241
154
ficção
verdade
40
46
anos
neste
histórico
espaço
ainda
696
142
discurso
título
707
passado
683
740
obratambém
passarola
712
725
0.0
682
738
convento
39
722
664
704
presente
texto
665
saramago
narrador
714
45
661
662
tempo
memorial
romance
38
-10.0
história
721
663
-20.0
-20.0
-10.0
0.0
Figura 3.9.3.1. Biplot que permite visualizar nas duas primeiras dimensões, as projeções sobre o
ES dos textos das amostras AT e T. Em seguida, considerando apenas os k= 1 textos da AT mais próximos de cada um
desses 15 textos a classificar (maiores cossenos), foi calculada a média das classificações
atribuídas pelos professores a esses k testes da AT. O resultado é a classificação ClSys
atribuída ao teste específico da amostra T.
A figura 3.9.3.2. apresenta o resultado desses cálculos, realizados pelo programa
PAET.
132 Figura 3.9.3.2. Nas duas primeiras colunas, comparação das notas atribuídas pelo sistema PAET
(à esquerda) e as notas atribuídas pelos professores. Na figura 3.9.3.2. a linha do topo contém os identificadores de alguns dos 45 textos
na amostra de treino e a primeira coluna do lado esquerdo os identificadores dos 15 textos
da amostra T.
No corpo da tabela figuram os cossenos dos ângulos entre os testes da amostra T e
os da AT, num espaço de d= 50 dimensões do ES.
Na coluna 5 da tabela da figura anterior é apresentada a correlação – 0.513 – entre
as classificações atribuídas pelo sistema (ClSys) e as atribuídas pelos professores.
Exportando estes dados para o exterior e estudando-os com o EXCEL e o SPSS
obtêm-se os resultados a seguir descritos na tabela 3.9.3.1.
A tabela 3.9.3.1. contém os resultados obtidos pelo sistema (ClSys) e os resultados
atribuídos pelos professores (ClProf) do Ministério.
Recorde-se que os resultados da tabela 3.9.3.1. foram obtidos com uma proporção
para a amostra de treino de 75% e com k= 1 (número de vizinhos mais próximos no ES, a
usar para calcular ClSys) – o que equivale, neste caso, a escolher o resultado da amostra de
treino correspondente ao cosseno máximo.
O coeficiente de correlação (ClSys, ClProf) para estes dados foi 0.513
(significância = 0.06), que fica próximo do valor necessário para ser considerado
significativo ao nível 0.05.
133 Textos da Amostra T
ClSys
ClProf
151
33
19
154
56
56
157
48
48
160
48
33
163
56
60
166
45
53
169
44
54
172
38
44
175
37
28
178
37
53
181
38
61
184
26
44
187
43
48
190
33
20
Tabela 3.9.3.1. Resultados obtidos pelo classificador automático da PAET (ClSys) e atribuídos
pelos professores (ClProf). O gráfico da figura 3.9.3.3. (obtido com o EXCEL) é o gráfico de dispersão dos
dados da tabela 3.9.3.1. tendo sobreposta a recta de regressão a que corresponde R2=
0.263.
Figura 3.9.3.3. Regressão das classificações do professor em função das classificações do sistema. 134 Como se constata pela figura 3.9.3.3., a resposta à questão “são as classificações
“reais” (dos professores) preditíveis em função das do sistema?” é a de que sim, mas com
fraca qualidade, no caso destes dados.
Face à exiguidade das amostras usadas (88 no ES, 45 na AT e 15na T) consideramse estes valores, apesar de tudo, animadores, se bem que longe dos valores publicados na
literatura e obtidos com sistemas industriais, produto de anos de aperfeiçoamento.
A razão pela qual se escolheu os parâmetros (75%, d= 1) aparece justificada na
tabela 3.9.3.2. e também na figura 3.9.3.4. que contêm valores alternativos para a
correlação r(ClSys, ClProf) obtidos quando se variam os valores dos parâmetros
(Percentagem da AT, k) com Percentagem da AT= 50%, 60%, 75% e k= 1, 2, …, 5.
Percentagem da Amostra de Treino (AT)
k
50%
60%
75%
1
0.14
0.23
0.51
2
0.08
0.21
0.28
3
0.09
0.28
0.34
4
0.23
0.20
0.20
5
0.20
0.20
0.17
Tabela 3.9.3.2. Coeficientes de Correlação (ClSys, ClProf) quando se varia k e a % de textos na
amostra de treino. Representando estes dados graficamente obtém-se a figura 3.9.3.4. que permite
constatar que o valor máximo desse coeficiente de correlação obtém-se quando (Percent=
75%, k= 1) – sendo esse valor 0.51.
Deve notar-se que o valor 75% para a amostra de treino é muito elevado e só tem
justificação num contexto como o aqui descrito em que há tão poucas observações
disponíveis que, para aumentar a sensibilidade do classificador é imperativo aumentar a
informação necessária ao respetivo treino mesmo à custa da amostra de teste o que, por sua
vez, prejudica o coeficiente de correlação r(ClSys, ClProf). Num estudo sem essas
limitações esta proporção é substancialmente mais baixa, garantindo, mesmo assim, um
número (centenas) de textos suficientes para realizar o treino do classificador e os estudos
de validade.
135 Figura 3.9.3.4. Gráfico de coeficiente de correlação (ClSys, ClProf) em função de k para vários
valores da percentagem da AT. 3.9.4. Dados EX-MIN. Experiência nº 2.
Neste número apresentam-se resultados produzidos pelo programa PAET relativos
à análise das respostas Grupo I A) e B) simultaneamente.
Embora a literatura não recomende a classificação simultânea de mais do que uma
questão de cada vez – no decurso da análise serão evidenciados alguns dos problemas
resultantes – por outro lado, isso permite, envolvendo muito mais textos de resposta, pôr
em evidência e confirmar através de dados reais as propriedades da metodologia ASL e a
validade da respetiva implementação no programa PAET.
Antes de realizar a experiência de classificação, usando o ES descrito, relativo ao
Memorial do Convento, consideremos a figura 3.9.4.1. que apresenta a imagem em duas
dimensões (biplot) do resultado da decomposição em valores e vetores singulares dos
textos relativos às respostas à A) e também à B) do Grupo I dos dados EX-MIN. Ambas as
questões se referiam ao Memorial do Convento de José Saramago mas a A) tinha a ver
com a viagem da princesa de Montemor a Évora e a B) tinha a ver com o romance amoroso
Baltazar/Blimunda tendo como pano de fundo a construção do Convento de Mafra.
136 viagem
linha
homens
parte
133
65
0.0
33
convento
bárbara
39
103
125
parágrafo
imprevistos
191texto
23rodas
155
mafra
6470
atados
83 163
179vora
raioseixos
14917332
95
187segunda
montemor
116
109 137
161
comitiva
chover
110
rachavam
gravetos
106
38 13991157
151
atoleiros
excerto
29ltimo
caminho
partiram-se
127
ajuntamento
devia
terceira
169145
tornaram
beira
recursos
estilo
frase
58121 50
185
alinhados
bodas
cordas
espectáculo
pardo
lastimoso
24
vésperas
59
89
115
três
alegria
sonhado
parado
85 10444
97
seguinte
presente
quinze
grilhetas
17 131
véspera
chuva
oficial
voltou
linhas
ledice
nascimento
recurso
regozijo
76
71
trabalhar
feito
deveria
nasceu
45
péssimo
lógicas
fazem
turbou-se
amarrados
98
imprevisto
estrada
estar
referente
autor
corresponde
tristeza
divide-se
obras
grupo
partiram
alteza
tocou
terceiro
repetição
pedra
pensa
77
construído
conteúdo
condições
porqu
sentir
sintetiza
triste
solo
mostra
dividido
frio
lembrança
talvez
saiba
vinte
estilísticos
agora
enumeração
voto
constrói-se
memória
lógica
fala
pensamento
pantanoso
rechonchud
neste
mãos
gente
dedinho
daqueles
comparação
serviria
serviu
sintetizar
estado
afinal
trabalhos
ultimo
escravos
motivo
mento
mole
ofício
impalpável
imagem
nome
explicação
paragrafo
aliteração
mandado
diálogo
tocado
expressivida
secos
pedreiros
anáfora
virando
segundo
rapidamente
conclusão
névoa
presença
caldo
boda
arrepio
faltar
galhos
181
delírio
estranha
estilístico
afirmou-se
represent
cumpre-se
sentido
carruagem
cavalgava
tornou-se
significa
finos
termo
sonhopartes
campos
ironia
soltam
trinta
descontenta
ensonados
obrigados
imaginação
meio
honra
caía
tivesse
expressão
parados
lembrou
visão
negação
nfase
gelado
fizeram
fogem
dedo
surgiram
temos
surpresa
testa
sabe
vira
causa
casassem
presos
tornou
bálsamo
desenvolvim
acerca
sequer
trabalhador
carroças
trabalho
serve
final
finalidade
descreve
adjectivação
acontecido
acordou
introdução
transporte
início
irem
entender
espanto
mostrar
construido
opinião
oito
onze
dores
diz-nos
divisão
limoeiro
dificuldades
elementos
dificultou
consequênci
consciência
ausência
fora
frica
surgindo
exploração
pantanosos
partiam-se
passagem
palavras
partissem
partiam
partido
passa
mandasse
lembra-se
aliviou
lugares
lembra
leitores
além
deviam
destino
visitado
prisioneiros
problemas
nascido
seguintes
refere-se
reforçar
reflecte
nimo
atribulada
gancho
braço
bons
breve
deixando
dela
deixa
teria
tenha
terreno
tocara
estribeira
facilmente
factores
12175 2711 143 167
precisament
portanto
perceber
podia
remete-nos
revela-nos
resposta
acabava
rvores
retira
relata
patente
passos
alegre
apareciment
lágrimas
angústia
anoitecer
lama
construiu
contentes
situação
encontrados
cavaleiro
pretende
quinhentos
racharam
causou
seguiam
tornava
seis
felicidade
arrefecia
fazendo
ficar
depara-se
desanimada
despertar
termina
estradas
percurso
pleonasmo
acontecem
acompanha
curiosidade
crepusculare
crespuscular
correr
coto
encontramo
cenário
caminhos
síntese
chuvoso
infanta
irónica
chuvas
cheio
sentiu
inicia
usar
descrição
desconhecim
descrito
descrita
estamos
peripécias
adormecera
acorrentado
adormeceu
acorda
ensonada
vespera
enfim
esmagado
escravizado
enxugou
erguido
esclarecimen
espírito
narrador
mostrar-nos
movimento
questionava
mudança
mostra-se
questiona
narração
metereológic
mostrando
oportunidad
quebraram
obviamente
provocados
obstáculos
ocorreram
metafórica
mensagem
montermor
quebrando
ocorridos
opolência
prresente
provocou
mostrado
provocar
quatro
miragem
mistérios
obscura
oposição
quarta
quebra
qualifica
mínima
moles
observa
mente
oitava
minhos
oficio
imaginá-lo
imaginável
imaginar
impressão
identificar
imediato
implícito
ilustram
imagina
ilusão
divertimento
dirigindo-se
dirigia-se
diversas
diversão
dividir
dirigiam
dividi
dividia
divisai
disse
divido
divide
ditas
voltado
voltasse
volrou
melancólico
constatação
considerand
constrangid
constantem
obediência
mecânicos
melancolia
constante
consiste
considero
construía
obedece
constroi
construi
mavioso
melhora
note-se
matéria
consta
numca
marisa
noutra
nutria
maus
nota
humanitárias
homenagem
homenagea
harmoniosa
impossível
horrorizado
horrendo
haverem
hipérbole
histórico
haveria
horror
impôs
listagem
dificultando
dificuldade
elucidar
durarem
dificultar
dúvidas
efectuar
emana
digna
do-se
efeito
difícil
digno
dupla
e/ou
visualizar
conheciment
prontament
promenores
prometida
propósito
marcante
conhecida
conhecia
noivos
forçados
friorenta
grotesco
fossem
formou
caduco
formas
fornece
gravar
frases
cbeleza
fraze
caia
aída
surgimento
surgiam
superar
surgem
tivera
explicitam
expressa
existiram
explicado
explica
explicou
explique
participação
parecendo
pantanósos
parágrafos
paragrafos
partidos
partira,-se
passa-nos
paradeiro
pareciam
paragem
partícula
partirem
partir-se
parar
alinhamento
almofadas
mandaram
lembrar
magnífico
manda-se
maleável
aliviando
levarem
lembrado
alguêm
longa
madeira
levavam
alíneas
loucura
levados
leveza
aliviar
levada
levaria
logicas
alínea
aliás
local
leve
lido
determinada
deveriam
dialogo
devidir
visíveis
visitou
visitar
viso
conseguimos
relacionadas
redundantes
redundância
recostou-se
maravilhosa
relacionado
conseguido
referem-se
referências
recorreram
reconhecia
reformado
confronto
recordar
referência
reflexões
conforme
reforça
conseguir
recomeço
regresso
referir-se
negações
negativos
privilégio
recorda
regozija
negativa
refere
nele
confusa
privada
reinado
reforço
seguir
reinava
nesse
reitera
atribulado
gostaria
buracos
gostava
bonito
buraco
gostou
atritos
gerais
bonita
gosto
fome
gozar
degradação
deformava
degradado
deixarem
definição
subitamente
testemunhar
sucumbiram
spartiram-se
testemunha
sucedem-se
tamanho
terem-se
terrenos
torbou-se
técnicos
tomaram
suspanto
teremos
sucedido
textuais
tardes
tomada
toma
surgiu
teresa
textual
tocá-lo
tédio
soube
ter-se
tido
tocar
testo
toca
exemplificad
expressões
estupefacta
evidênciado
facultaram
extravagant
estusiasmo
exemplos
evidenciar
facilidade
evidencia
estrutura
exclamar
evidente
existem
exagero
fala-nos
exprime
fála-nos
estrofe
exerto
exige
pensativa
podíamos
precalço
pequeno
posição
postriori
podiam
pôs-se
politico
postas
possa
penso
ponte
revoltados
respostas
sacassem
sacrificios
resumida
retirando
relatado
remete
repentina
repartido
ressentiu
remetia
absoluto
sabendo
repouso
retorno
remonta
sabiam
saliento
segue
resume
secção
relatar
abulia
rvore
rodeia
saída
resta
ruas
roda
sair
ordenou
ostentação
ordem
pavimento
ordenando
passarão
pantanosa
pensando
passar-se
passa-se
palpável
pantano
pecados
passaria
pedras
ordens
panos
pagar
pede
ouve
lamentou-se
lamacentas
alegres
lamentando
mandou
ambiente
lamacento
anciedade
apareceu
apercebe
animais
amolece
ambiguo
lamento
lamúrias
mande
vesperas
vestido
viagens
véspra
construiram
contentores
decidiram
dar-nos
dá-se
decidir
presentes
compreende
comprovado
empreendim
compreendid
condolências
reaparecime
encontradas
comprovada
racharam-se
racharem-se
impressiona
incomodava
tornaram-os
preparativos
começaram
tornaram-se
rachamento
começavam
condicionou
comemorar
maneira
enamorado
preocupada
emocionou
emprevista
empregue
casar-se
comprovar
segurança
condisente
casasse
presenciar
manifesta
preencher
questões
cometido
tornado-o
maneado
inclinando
incidentes
primeiras
causasse
composta
começara
quinhetos
tornavam
primeiros
conceitos
realçado
realça-se
nascesse
nascença
racharem
torna-se
previsivél
comotiva
caíssem
principal
embotas
prestes
começo
preferia
reacção
realçar
realizar
tornem
tornado
prefeito
prestar
realçou
torna
tornara
encarar
rápida
rápido
rachar
reação
razões
seguia
nestes
coloca
caldos
ramos
realça
sejam
racha
cair
quis
fundamental
assemelhar
avistamento
fundamentai
assemelhan
assustadora
felicidades
atormento
atendendo
avistar-se
assinalava
arbustos
fenómeno
barbaram
auxiliada
fernando
avistados
assinalar
bastava
atenções
funciona
azáfama
fala-se
função
assistir
baseou
arbusto
avistar
fariam
furado
assola
avarias
avista
festivo
ficado
bando
faltou
física
base
fase
falei
delimitada
desprazeiros
deparava-se
deparam-se
deparar-se
desagradáv
desenvolve
demasiado
desinterece
depararam
desespero
depara
deprimente
desenrolar
desfaleceu
desiludida
depressa
desagravo
deparado
desolada
derivadas
desilusão
deslocou
desejos
deparar
deparou
dessa
delirio
depõe
teríamos
tenciona
estragando
estradas/ca
estilisticos
estômago
esquecido
estabelece
estragos
percorrer
perdeu
pobres
podem
pôde
aconchegar
agradável
agrupament
ajuntament
repugnante
agumerado
alcançado
respectiva
resistiram
agradavel
afirma-se
alcançar
aguçado
achou
alagados
agitação
agradar
achava
agrupa
acesso
reside
acima
aceita
acha
apresentada
anteriormen
aprisioname
aprisionados
aproximação
justificasse
aproximado
anteriores
justificados
aproveitar
justificam
antidese
aplicar
continuidade
contribuiram
contrariadad
contratempo
controvérsia
conversa
danificaram
danificando
continuarão
contrastava
contrastant
criminosos
contribuiu
contrói-se
daquela
crimes
dá-nos
coração
cumprir
covento
danos
dadas
contro
crítica
critíca
curto
infelicidade
climatéricas
certamente
complicaçõe
informação
sobressaltad
comparadas
encontrarem
circunstanci
sintetizado
inesperadas
sintetizante
celebração
indignação
chateia-se
informa-se
cena
comparar
completa
sentimos
chegasse
coagidos
indicação
irregular
informar
infelizes
irritação
chocada
sintetisa
sintetizo
sintetize
simples
situada
sofriam
chama
choveu
chega
carros
irónico
chocar
chuver
torpor
usando
chovia
centro
infeliz
servir
chão
coche
chove
chova
indica
irreal
chiva
cima
ir-se
fazia-se
figura
ficava
finda
desconhecid
desconhece
desejando
descritos
descobrir
estampado
estariam
estam
pergunta-se
perturbação
pertenceria
perturbada
pesadelo
perfilados
pergunta
péssima
pesada
perigo
plena
piso
acontecesse
adecadência
adormecer
acordada
acordado
acordara
admirada
adversas
afirma
adjectivo
adviram
afectar
afasta
actos
seriam
caracterizad
interrogação
transmitindo
transformar
caracterisad
insatisfação
caracteriza
juntamente
transformou
transtornad
enquadrand
intempéries
característic
transfigura
transcrito
inquietação
transmite
enfraquecia
transmitir
turbulência
intempérie
caramelos
transtorno
transcritas
tratava-se
verifica-se
transporta
utilização
sonharam
inverno
transcrita
tratados
tristezas
interroga
inundado
tragédias
trajecto
utilizado
intensiva
intrigada
tratasse
trata-se
tubou-se
enfatizar
turbo-se
utiliza-se
sonhára
instante
carácter
engloba
utilizada
solos
utilizou
iremos
tristesa
tristes
veículo
traços
turbou
ultima
sonha
varios
cara
vê-lo
inicio
julga
trata
traz
enterravam
entristecer
enumeras
envoliente
entrando
enumerar
entidade
episódios
entraves
enumera
enunciar
entanto
espantada
esclarecida
escolheu
escolhida
espaço
especialmen
espetáculo
espera
mostrava
mulheres
música
mundo
za-se
meteorológic
mencionado
monumento
quer
provocaram
observação
quantidade
observada
mostram
miseráveis
operários
mortes
olhou
ocupa
merc
isentiu-se
dentificado
dividir-se
distintas
dirige
vivo
megalomana
constituída
consolado
próprios
novo
importava
humana
dimensão
dificultava
doze
egoísta
vítimas
vitímas
consequent
conscienciali
conhecer
noivas
forçadament
franciscano
fragilidade
fragilizada
grandiosa
frágeis
tira
existissem
partirem-se
liberdade
lástima
alinha
leitor
leste
longe
devida
vislumbrava
visitara
visível
privilégios
conflito
nível
relacionada
relacionados
gentes
aumentar
sucede-se
tenhamos
tamanha
torbulenta
tormento
talvéz
terem
exemplificar
estranho
executada
execução
percebemos
possíveis
pensava
poema
relativament
resume-se
sacrifícios
reparado
reparara
satisfazer
resulta
revela
revelou
retrata
ordenado
passarei
orienta
passo
angustiada
apaixonado
aperceber
anafórica
lamentar
lamaçal
juntar
alegrai
sente
seguidament
encadeação
realizasse
começado
pretender
realçando
realizadas
realizada
inantigível
realizou
incómoda
causava
prende
se-lhe
racham
festa
arrependime
avizinhava
favorável
barbara
avistado
bastasse
atoleiro
deparou-se
deparava
desanimo
estragara
esquecer
respeita
apresentar
apresenta
aquando
aproxima
apoiado
justifica
contemplado
contraditório
contrariados
cresceram
crua
chegava
indiferença
inesperada
inesperado
sentir-se
encontre
centra
infante
cheia
clero
feita
feiro
descobrisse
permenor
permite
acreditar
advérbio
engrandecer
tranquilidad
intensifica
trouxesse
tratavam
inúmeros
somado
trágicos
utiliza-a
vaidoso
enfase
inteira
valor
enumera-se
ergueu
epoca
moldes
morar
ideia
importam
diferentes
efémera
passados
referido
reflexão
tarde
sonhos
pensarem
possiveis
possam
saber
represálias
fundamenta
respectivo
acontecimen
quase
impostos
constatamos
melhorar
dificeis
prometido
partilhada
bonitas
tivessem
palavra
primordialme
preocupa
reais
barreiras
aventura
ganham
demonstra
derrubam
pode
respeitava
apresentado
antítese
contrato
coisa
incansavel
sentida
casam
fazia
ficasse
estação
plantas
acontecer
acordar
caracterizam
intervenient
seria
veracidade
tratava
utiliza
questão
nascem
m--se
provavelme
metáfora
misterioso
queremos
querer
puros
imenso
dito
vivida
objectivo
próprio
normal
ntimas
importante
livres
dúvida
margem
forçado
frente
frei
suposto
experiencias
exploravam
mágico
leva
deve
destes
reina
necessário
seguiram
seguiu-a
nobres
ncia
folho
face
ponto
renovação
segredos
sabemos
retirar
pássaros
apaixonou
aparência
vindo
daquilo
premeditado
companheiri
casando-se
raparigas
concordo
condição
casarem
fazem-no
atitude
atingir
basta
falta
demonstram
ternuras
respectivam
reprodução
acção
ajudarem
acariciam
achar
correspond
cúmplices
correcta
criados
significado
completarem
completame
carregada
uniram-se
chegada
sinónimo
planeou
admiração
enforcament
sonhar
veio
interferem
enganava
trocavam
sonhava
carícias
irmão
envolviment
enunciado
escolhendo
xviii
morresse
opõe-se
quentes
pudor
vivido
melhor
normalment
obediente
haviam
haver
conheciam
projecto
marcar
frustração
fria
superioras
existir
expontânea
parecida
lutadores
ligação
mandão
mágica
almas
levou
libr
naturalment
conseguirem
naturalidade
nico
regia
bôndade
gémeas
flui
tentarem
submissa
exigente
possível
relaciona-se
romântismo
sacrifício
sedutores
relacionar
acabaria
século
acabar
abaixo
passava
paciente
pedidos
origem
pacata
apaixonar
amizade
via-lhe
consumado
dedicou-se
decorre
data
primavera
semelhantes
companheira
tornando
pretendiam
realizados
arranjadas
família
avam-se
baltazas
falsas
bíblia
demonstrad
desgastar
esqueceram
aceitou-o
ajudá-lo
justificado
aproxima-os
anterior
continuaria
contratual
dado
criação
dando
encontram
complement
totalmente
encontro
sofredora
completo
sete-sois
sofredor
sexuais
sexual
carne
finalmente
faziam
ficassem
personifica
pior
aconteceu
acontecera
afectividade
interrupções
engravidass
transpirava
intimidade
entregavam
espanha
escolhido
mostrou
movida
mutúa
mostra-nos
observar-se
provocada
menbros
quebrou
pude-se
pureza
igualmente
imensa
ignora
voltava
vizinho
voltar
construída
protagonista
protecção
membros
máximo
medo
importância
humanidade
hoje
dormiram
dizendo
dormiam
eclodiu
dificil
direita
vivam
conservador
conhecido
nomes
formalidades
guardava
caido
fuga
tirou
expoente
participaram
alto-de-f
aliavam
alta
loucuras
levaram
língua
ligava
lição
determina
profundame
reconheceu
recolheu-a
consentiu
conhece
marca
nela
nica
gradualment
aumentando
burguesia
gostavam
ausencia
genuíno
ausente
fizesse
fize-se
flores
fonte
defendiam
teve
testemunho
tambem
tipo
exempleficar
executado
existente
eterna
abençoados
sebastiane
romântico
romance
secalhar
religiosa
sedução
saiu
passassem
optimista
pegando
passeio
ouvia
pedir
aparecer-lhe
angustias
mandava
largaram
alegrias
mando
vice-versa
contexto
dedicação
dar-lhe
encomendad
preocupava
realizavam
enamoram
sentar-se
seguidos
cometer
razão
tornam
causas
comer
reflete
assumiram
averiguar
assumem
aqui
famílias
assunto
familia
fulcral
falar
faria
demonstran
desgostos
demostra
dependia
deram
teriam
estiveram
percorrendo
poderíamos
percorre
poderia
responsabili
representad
reprodutivo
ajudaram
ajudava
ajudam
acabe
aproveitam
aprovações
andavam
apetecia
apoiava
jura-lhe
contente
daquelas
contar
dade
inconfundive
coincidência
caminha-se
chegando
comparada
completava
encontrá-lo
separação
simbolizam
completam
sentia-se
separaram
indiferente
significava
influencia
simbólico
sentiram
caminha
sentidas
chamas
sofrem
servia
sétima
sítio
fechados
ficaram
feitos
filha
descansou
descobre
desejava
termos
estatuto
estaria
persignação
pertencia
pleno
afirmação
acordo
cuprimento
ultrapassar
encontrou-o
verdadeiras
ultrapassa
enfrenta
inquisão
interese
vamos
josefa
inveja
traí-lo
envolveram
interferiam
interferida
entrega
então
esconder
escuro
esmola
esperança
mútuo
obrigatoriam
observamos
meramente
obrigatória
queimam
pudesse
obrigava
morreu
pública
morta
m-na
considerare
novamente
olhando-se
materiais
olhando
noticias
nsia
olha
honestamen
históricos
económico
drescendo
efectiva
difere
dotes
dizia
dura
vivendo
vive
nomeadame
marcantes
ltima
mágicos
amados
amam
longos
ltimos
devoto
foge
surgir
pequena
praça
salvaguarda
sebastiana
segredo
aberta
abrir
passam
passaram
o-se
apaixonand
apensar
destas
vindouras
decidiam
decidem
realidade
condenados
encontra
tornando-se
combinado
compreens
princípio
procriação
comemora
castigada
concluo
casou-se
comum
previa
comia
baseia-se
bençam
fascina
baseia
bens
desnecessár
demonstrou
desfileiro
deixar
estética
esposa
portadora
podémos
poderes
pobreza
perder
porta
acompanhar
ajudado
ajudar
aldeia
continuaram
contractual
cruzam-se
continuava
criando
encontra-se
sentimentos
complicada
separados
situações
cerimónia
casado
sincera
feiticeira
perdidament
permonição
pertencem
planeado
pertencer
perviu
acreditava
acordava
cortejo
inseparáveis
intensament
enfrentado
insistência
interajuda
iniciou-se
vêem-se
iniciada
instável
julgada
trágica
jovens
jovem
jejum
ustria
jesus
sério
entrar
mostraram
modo
impedida
morava
meses
impostas
imediata
dirigem-se
disseram
domingo
domindo
volta
considerada
havendo
herdado
guerra
horas
vítima
marcadas
noites
noiva
caçarola
supera
surge
existiu
abensou-os
particular
papel
alguem
amava
largos
conseguira
maquina
regras
nido
bruxa
definitivame
desafiava
deixara
tendo-o
sorte
estranheza
estranhame
espontânes
rencontrar
retratada
acabaram
retratado
reparar
apaixonada
juntaram
andava
amnor
andou
continuando
contacto
contada
realmente
complicidade
inconformad
quilómetros
encontra-lo
incansável
inaugurar
realizado
prefeita
rapariga
coisas
empatia
maneta
sentem
calmo
assinado
ferros
deparar-nos
despenhara
desapareçe
desejavam
descalça
terminado
estabelecer
percorrido
percorreu
perdida
afirmar
aceitou
cumprirem
convidou
cremado
sofrimento
carnal
seres
serra
jeito
fictícia
desconhecia
perguntar
adversidade
interligado
intreferice
intuito
interferiu
intuição
iria
velho
ve-lo
escolhem
queriam
obrigou
direito
própria
normais
partilhavam
partilhando
locais
profundo
conseguia
tinhm
palha
amavam-se
construir
decidido
concentimen
através
bois
esquerda
jura
coral
ficarem
estão
variados
unidos
sóis
eróticos
mútua
ocorreu
herdeiro
embora
dizer
promessa
superior
amam-se
alma
luta
bruxaria
prazeres
oposto
decorrer
decide
real
mantiveram
fundo
ajudou
contudo
pessoal
acontecia
afecto
episódio
escolha
espiritualida
moribundas
queimados
obrigado
provas
imposto
vivos
gusmão
dinheiro
visto
promessas
força
fugir
amavam
lugar
luas
devido
desvanecer
desvendar
virgindade
recolhendo
reencontro
conseguiu
procura-o
reciproco
recolhe
recolhia
tenham
tentar
toledo
extrema
sacramenta
sabia
repleto
repleta
peito
apaixonam
angustia
continua
principalmen
compara
incondicional
combustível
casavam
assistia
ficando
desaparecer
desenvolvid
desejo
desgosto
percorridos
pobre
perda
representa
acompanhad
respeitavam
ajudavam
acontece
conveniênci
culminar
chamaram
certeza
filhos
persistência
plenitude
interesses
interfere
entregam-se
entregue
queria
impediu
houvesse
hora
dever
procurou-o
recolher
nessa
terceiros
eternament
resto
passado
país
amigos
vidas
começa
caso
condenado
bênção
fitícias
desafios
junto
sentimento
perfeito
verificar
verdadeiram
trono
interferia
obrigações
voar
livro
altura
amar
alto
ninguem
máquina
reino
possui
preso
aspectos
demonstrar
desaparecid
esteve
apoio
encontrava
chegou
pessoa
entregou-se
obrigada
imposição
consegue
tipos
passar
amaram-se
desta
virgem
procriativos
natural
pensar
possuía
seja
fazer
fins
ternura
estavaficou
acções
fidelidade
interferência
ento
morrer
idades
diferente
diferença
natureza
começou
blatazar
tempo 18
terras
representan
acabou
lado
sociedade
sentia
jogos
maria
nunca
voou
olhar
deus
tenta
suma
desses
vezes
principe
autos
poca
sido
sentiam
sítios
acto
verdade
olhos
viverem
prometeu
passando
deste
espontânea
construíram
estarem
contrario
vivem
recolheu
procriar
casou
deixou
pode-se
acabando
acaba
passou
conta
quiseram
fica
desaparecim
conjunto
realização
desaparece
capacidade
enorme
intensa
mutuamente
observar
homem
herdeiros
maior
leis
apaixonados
iriam
magia
procurar
povo
sendo
mulher
m-se
montejunto
queimado
houve
noivo
de-f
vidente
feliz
dele
desse
verdadeira
ente
momentos
disso
fosse
casamentos
enquanto
interesse
marido
conheceu
existia
amorosas
leitura
porém
apesar
queimada
eterno
saramago
pais
casar
realeza
momento
pura
nesta
portugal
colher
ainda
auto-de
apaixonara
encontrou
serem
especial
igual
noite
auto
lisboa
condenada
respeito
viver
forma
fogueira
deles
igreja
reis
viram
primeira
primeiro
sete
simbologia
partir
amado
procurou
também
classe
inquisição
representam
social
puro
vista
conhecem
carinho
havia
facto
joão
viveram
união
cumplicidade
vontades
forte
exemplo
casaram
construção
obrigação
confiança
tendo
voadora
casamento
poder
logo
foram
depois
tiveram
dias
apenas
personagen
imposta
vida
casados
morte
viviam
existe
sempre
prova
interior
relações
sete-sóis
sete-luas
casa
estavam
duas
tinham
rainha
contrário
procura
podemos
felizes
longo
paixão
172
tinha eram
encontrar
livre
130
dois dentro
assim
grande
memorial
nove
história
ambos
bartolomeu
auto-de-f
vontade
durante
pessoas
casal
conheceram
190
obra
160
padre
74
passarola
juntos
verdadeiro
51
anos
178
amorosa
140
68
15
48128
30
88
154
134 148 92
170
101
184
94
41
79 21
14
35
67
61
16682
36
118
73
112 146
142
136
113
188
100
56
164
53
176
baltazar
20
42 107
124
62
158
119
47 80
122
26
-10.0
86
152
182
amor
relação
-20.0
baltasar
-30.0
-30.0
-20.0
-10.0
0.0
Figura 3.9.4.1. Biplot correspondente aos textos das respostas às questões A) e B), relativas ao
Memorial do Convento. A figura 3.9.4.1. foi construída usando a informação de 60 respostas à A) e 60
respostas à B), com as quais foi construída uma matriz de frequências X (n, p) com n=
2497 palavras e p= 120 textos. Procedendo à decomposição em valores e vetores singulares
dessa matriz, verifica-se que é necessária uma dimensionalidade d= 60 para captar 90% de
toda a informação dos dados.
137 A figura 3.9.4.1. foi construída com as duas primeiras dimensões, correspondendo
a uma variância/informação de 41%, o que significa que este biplot é altamente
representativo da informação contida nos 120 textos.
Considera-se a figura 3.9.4.1. notável e traduzindo muito bem o poder deste tipo de
análise.
Com efeito, a figura envolve dois grupos de textos (setas a vermelho) que, pela sua
quase ortogonalidade, definem a topologia do gráfico. Os textos contidos em cada um
desses grupos formam ângulos muito pequenos, significando que são textos cujo
significado é semelhante.
Se examinarmos agora os textos que fazem parte de cada um dos grupos (ver as
elipses sobrepostas aos grupos de textos), verifica-se que o grupo superior (horizontal)
agrupa os textos de resposta à A) – relativos à viagem Montemor/Évora – e o grupo
vertical, à direita, é relativo aos textos da resposta à B).
As palavras mais representativas (escritas a azul no gráfico) abrangem {bárbara,
convento, homens, linha, Mafra, Maria, nunca, parágrafo, parte, princesa, texto, viagem}.
Os textos mais associados ao grupo vertical são todos textos de respostas á B), tais
como {26, 86, 152, …} e palavras como {amor, Baltazar, relação, amorosa, juntos,
passarola, verdadeiro} fortemente evocativos do romance Baltazar/Blimunda, como
devem.
Em síntese, a figura 3.9.4.1. capta, apesar de ser construída apenas com dois eixos
(dos 60 necessários para obter 90% da informação), quase na perfeição, o conhecimento
prévio de que os textos se dividem em dois grupos correspondentes a temas semelhantes
mas distintos, separando esses textos em dois significados bem definidos em perfeita
concordância com o significado dos mesmos.
Acresce ainda que em cada grupo coexistem textos de qualidade muito diversa
(tanto no conteúdo como na natureza e número das palavras usadas). Essa variabilidade é
captada pela diversidade dos pequenos ângulos entre textos do mesmo grupo.
Mesmo não sabendo, pela análise representada anteriormente, que os dois grupos
têm significados diferentes (A e B), o mero exame desta figura informa-nos que subjacente
(latente) a estes 120 textos se encontram dois significados que explicam as proximidades
entre os textos do mesmo grupo e a presença dos dois grupos que formam um ângulo
praticamente de 90%, significando ausência de correlação entre esses grupos.
138 Se repetíssemos esta análise mas escolhendo ao acaso um certo número de textos
abrangendo agora respostas a A), B) e Grupo III, obter-se-iam biplots como o ilustrado na
figura 3.9.4.2.
bárbara
maria
convento
57
parte
homens
0.0
60
100
70
linha mafra
162
96 parágrafo
viagem
145
80
106 1477
40 67atados
imprevistos
27
133texto 177
47
139
127
87
186
115
148
vora
ltimo
rodas
103
124
raios
30
168
montemor
segunda
174
37 112
180
142
eixos
chover
118
rachavam
chuva
83
86comitiva
171
atoleiros
ajuntamento
gravetos
110
beira
voltou
130
tornaram
nasceu
13615090 34156
159
vésperas
recursos
terceira
bodas
pardo
partiram-se
casamento
primeira
24 216320
121
cordas
espectáculo
lastimoso
devia
alinhados
alegria
sonhado
partes
nascimento
oficial
53
parado
frio
deveria
quinze
93
véspera
três
recurso
seguinte
constrói-se
grilhetas
regozijo
péssimo
ledice
linhas
imprevisto
turbou-se
triste
tocou
estrada
construído
estranha
seriam
lógicas
17183 54
tristeza
amarrados
presentes
trabalhar
sintetiza
153 estilo
condições
alteza
primavera
voto
divide-se
solo
estado
lembrou
comparação
repetição
campos
chegava
dedinho
vinte
cumpre-se
conteúdo
anáfora
terceiro
névoa
corresponde
saiba
cavalgava
final
apresentado
expressivida
construção
tocado
felicidade
referente
virando
estilísticos
estilístico
boda
trabalhos
carruagem
alegre
fora
imagem
escravos
pantanoso
teria
diálogo
rechonchud
espanha
impalpável
irem
mole
partiram
início
ensonados
ultimo
acordar
acordou
dedo
bálsamo
festa
feita
finos
visão
transporte
casassem
galhos
explicação
ordenou
tivesse
afirmou-se
dores
descontenta
frase
gelado
estribeira
testa
pedreiros
faltar
aliteração
aliviou
porqu
soltam
serviria
serviu
espanto
crepusculare
ironia
caía
termo
lógica
arrepio
respectivo
infelicidade
fogem
rapidamente
sente
secos
mandasse
mandado
enumeração
erguido
ofício
cheio
cavaleiro
cena
acontecimen
adormecera
adjectivação
acontecido
acorda
avista
vespera
apareciment
tocara
fazia
atribulada
finalidade
veio
visitado
casar
elementos
casasse
tratados
trinta
descrição
descreve
curiosidade
gancho
apresentar
apresentada
prisioneiros
refere-se
patente
recorda
diz-nos
doze
divisão
retira
forçados
escolheu
lágrimas
termina
braço
lama
onze
dimensão
deviam
dificultou
nfase
reflexão
pensativa
perceber
chuvoso
reforça
dividido
carroças
trabalhador
caracteriza
alegres
solos
depara-se
sintetizar
deparar-se
sintetizado
delírio
depara
esmagado
crespuscular
conversa
coto
encontrados
mostra-nos
pantanosos
lembra-se
paragrafo
parados
lembra
leitores
sabiam
bonito
quebraram
voltado
arrefecia
percurso
aquando
lugares
mandou
limoeiro
remete-nos
represent
remetia
introdução
segundo
partiam-se
quinhentos
seguintes
caldo
partiam
partido
meteorológic
narrador
enxugou
entender
nascido
negação
obrigados
surgindo
surpresa
utilização
utilizado
utiliza-se
utiliza-a
utilizou
utiliza
usando
chateia-se
chegasse
chocada
chocar
chão
celebração
cenário
turbulência
causou
trouxesse
causasse
causava
tubou-se
turbo-se
centra
centro
turbou
ultima
degradação
deformava
degradado
gostaria
tomaram
tomada
toma
acontecera
acorrentado
acontecem
adormeceu
acerca
adecadência
aconchegar
acontecesse
adormecer
acção
acordada
acordado
acordara
admirada
adjectivo
achava
aceita
acha
verificar
avistamento
verifica-se
avizinhava
avistar-se
fenómeno
avistados
avistado
vesperas
azáfama
vestido
viagens
véspra
avarias
avistar
tristezas
tristesa
tristes
decidiram
dar-nos
dá-se
decidir
apareceu
aperceber
apercebe
apoiado
expressões
facilmente
extravagant
factores
exprime
construída
conjunto
consequent
conscienciali
construido
confronto
conforme
conhecida
construía
conhecia
construi
confusa
conflito
tornaram-os
tornaram-se
torbulenta
tornado-o
tornavam
torbou-se
torna-se
tormento
tornava
acabava
tornem
tornara
tocá-lo
tocar
tira
autor
vislumbrava
redundantes
redundância
felicidades
referem-se
atribulado
ausência
visualizar
atendendo
atormento
auxiliada
aumentar
faziam
atenções
visitara
fazia-se
ficasse
atoleiro
vítimas
vitímas
visíveis
visitou
festivo
veículo
visitar
visível
ficado
ficava
feiro
finda
viso
transformou
transtornad
transfigura
tranquilidad
casar-se
transtorno
elucidar
transcritas
tratava-se
transporta
transcrita
tratavam
trajecto
trata-se
dúvidas
emana
tratava
do-se
e/ou
traz
rodeia
roda
desejando
descritos
descrito
descrita
danificando
dá-nos
cumprir
danos
curto
fundamenta
friorenta
furado
fria
aprisioname
aprisionados
apaixonado
apresenta
anteriores
estilisticos
ambiente
amolece
antidese
contraditório
contemplado
continuidade
contrariadad
contrariados
exploração
contentores
continuarão
contexto
contentes
explicitam
expressa
explicado
explica
explicou
explique
constatamos
condolências
constatação
constrangid
constantem
condicionou
constituída
condisente
consolado
consiste
constroi
consta
prometido
prontament
ostentação
promenores
ordenando
ordenado
prometida
propósito
princípio
privilégios
privilégio
absoluto
principal
textuais
privada
textual
abulia
ordens
tivera
tido
julga
ouve
grotesco
desprazeiros
despertar
dessa
relacionada
relacionados
climatéricas
relacionadas
recostou-se
assustadora
circunstanci
passava
pavimento
recorreram
reconhecia
recordar
passarão
favorável
passarei
passar-se
regresso
coagidos
passa-se
pecados
regozija
passaria
relata
assistir
reinado
reinava
reitera
fariam
assola
coche
varios
pede
clero
agradável
agrupament
ajuntament
agumerado
alcançado
agradavel
durarem
afirma-se
tragédias
aguçado
alagados
agitação
agradar
trágicos
agrupa
alegrai
traços
divisai
dupla
perturbação
pertenceria
perturbada
pesadelo
péssima
pesada
pôde
revela-nos
resume-se
revoltados
resumida
retirando
retorno
resume
revelou
retrata
desconhecim
descobrisse
desconhece
deprimente
sentiu-se
sentir-se
depressa
descobrir
derivadas
sentida
sentiu
depõe
crimes
crítica
critíca
crua
forçadament
franciscano
fragilidade
fragilizada
fossem
formou
formas
fornece
gentes
frases
gerais
frágeis
fraze
esclarecimen
escravizado
angustiada
esclarecida
estragando
estradas/ca
identificado
imaginá-lo
estradas
estragara
estômago
angústia
aproxima
aproveitar
anoitecer
anafórica
escolhida
estragos
animais
estariam
ilustram
contribuiram
contratempo
exemplificar
controvérsia
construiram
estupefacta
contrastava
contrastant
estusiasmo
estranho
construiu
contribuiu
executada
existissem
contrói-se
estrutura
exclamar
existiram
execução
estrofe
contro
exerto
exige
empreendim
encadeação
enamorado
emocionou
emprevista
empregue
embotas
presos
precisament
testemunhar
lamentou-se
pretende
preparativos
juntamente
justificado
justificasse
testemunha
provocaram
lamacentas
provocados
preocupada
preocupa
lamentando
palavras
presenciar
preencher
lamacento
pantanosa
pretender
primeiras
terem-se
teríamos
barbara
barbaram
terrenos
opolência
operários
justificam
provocou
prresente
previsivél
precalço
bastava
provocar
bastasse
palpável
pantano
prestes
oposição
terreno
preferia
teremos
rvores
lamento
lamentar
lamúrias
lástima
buracos
prende
prefeito
lamaçal
baseou
qualifica
prestar
juntar
justifica
buraco
breve
panos
pagar
olhou
bando
testo
base
ruas
grandiosa
gostava
gostou
gravar
gosto
gozar
desenvolve
dificultando
desinterece
desespero
desenrolar
desiludida
dificultava
deveriam
desolada
dificultar
deslocou
desilusão
dialogo
nestes
digno
compreende
percebemos
comprovado
compreendid
reaparecime
comprovada
aproximação
passados
assemelhar
percorrer
assemelhan
facultaram
aproximado
realizasse
comprovar
reformado
passa-nos
reflexões
começado
reforçar
assinalava
pensando
completa
composta
realizadas
realizada
recomeço
realça-se
reflecte
realizou
assinalar
pensava
pequeno
liberdade
fala-nos
fala-se
realçar
fála-nos
choveu
vaidoso
chuvas
reforço
pedras
chuver
chovia
coloca
chove
faltou
lido
caracterizad
afirmação
alinhamento
caracterisad
divertimento
dirigindo-se
almofadas
caramelos
dirigia-se
dividir-se
aliviando
advérbio
adversas
afirma
diversão
alguêm
dividir
adviram
afectar
dirigiam
distintas
alíneas
alinha
dirige
dividi
aliviar
torpor
alínea
divido
divide
aliás
personifica
pleonasmo
podíamos
poema
pôs-se
politico
plena
ponte
piso
somado
sofriam
sóis
relativament
repugnante
respectiva
resistiram
reside
delimitada
desanimada
sobressaltad
deparava-se
desagradáv
deparam-se
inesperadas
depararam
sintetizante
deparou-se
inesperada
inesperado
deparava
síntese
infanta
desagravo
deparado
desanimo
deixarem
deparou
deparar
sintetisa
sintetizo
sintetize
situada
infante
delirio
monumento
montermor
mecânicos
matéria
marisa
espantada
estampado
espetáculo
imaginável
estabelece
importava
imediato
implícito
imagina
espaço
estam
impôs
evidênciado
cresceram
evidencia
evidente
exagero
encontrarem
enfraquecia
encontre
enfatizar
enfase
mostrar-nos
pantanósos
parágrafos
paragrafos
quebrando
mostrava
mostra-se
mostram
paradeiro
realçando
sacassem
sacrificios
realçado
mostrado
paragem
mostrar
irregular
lembrado
quatro
irritação
irónica
quebra
quarta
levados
irónico
caduco
se-lhe
levada
realça
leitor
bonita
leste
cbásica
saída
aída
humanitárias
harmoniosa
horrorizado
horrendo
haverem
horror
volrou
za-se
nimo
comparadas
arrependime
começaram
compara
começavam
comemorar
mandaram
cometido
comparar
começara
listagem
arbustos
conceitos
comotiva
começo
madeira
longa
loucura
arbusto
mande
logicas
local
postas
spartiram-se
sonhos
sonharam
sonhára
soube
reparado
respostas
reparara
respeita
repentina
repartido
repouso
interrogação
inverno
interroga
inundado
intrigada
infelizes
infeliz
megalomana
melancólico
melancolia
melhora
moles
impressiona
impressão
engrandecer
engloba
seguidament
racharam-se
racharem-se
rachamento
questionava
parecendo
racharam
partira,-se
partidos
questões
questão
questiona
quinhetos
racharem
seguiam
pareciam
caíssem
levarem
partícula
reacção
levavam
racham
segue
leveza
rachar
rápida
secção
reação
razões
seguia
levaria
ramos
caldos
racha
leve
homenagem
homenagea
hipérbole
nomeadame
noivas
noivos
maravilhosa
manifesta
magnífico
maleável
perdeu
subitamente
insatisfação
intempéries
inquietação
informa-se
intempérie
intensifica
informar
intensiva
instante
inicia
inicio
metereológic
metafórica
metáfora
miseráveis
miragem
mistérios
mínima
minhos
merc
incomodava
inclinando
incidentes
inantigível
incómoda
enquadrand
enumera-se
ensonada
entristecer
enumeras
entrando
enumerar
enumera
entraves
enunciar
movimento
partirem-se
mudança
caminhos
partissem
nascença
narração
partirem
partir-se
música
noutra
pergunta-se
peripécias
permenor
perfilados
pergunta
sucumbiram
sucedem-se
sucede-se
sucedido
indiferença
indignação
indicação
enterravam
envoliente
episódios
ergueu
epoca
nascesse
negações
negativa
ocorreram
obediência
observação
ocorridos
observada
obedece
obscura
note-se
observa
numca
oitava
oficio
nota
tenhamos
técnicos
tardes
tédio
tamanha
surgiam
suspanto
surgem
44 165 18911caminho
uniram-se
ustria
unicos
ultrapassa
cerimónia
chiva
acreditava
túmulos
ceia
definitivame
defendiam
acompanhad
acompanhar
acariciam
aceitou-o
acordava
aceitou
achar
verdadeiras
veracidade
averiguar
vice-versa
avam-se
fernado
via-lhe
ventos
ferros
velho
filha
veria
ve-lo
trobulentos
castigada
casou-se
trocavam
decidiam
decidem
decidido
data
decubriram
dedicou-se
decorrer
dedicação
decorre
dar-lhe
daquilo
aparecer-lhe
apaixonand
apaixonou
apaixonar
aparência
apetecia
apensar
apoiava
facilidade
conseguirem
conservador
conheciam
conseguira
consentiu
tornando-se
tornando
tivessem
acabaria
bençam
tocaria
beleza
tirou
aumentando
reencontro
fazem-no
fechados
ficassem
ausencia
feiticeira
vêem-se
fechava
ausente
ficarem
atritos
fictícia
virgindade
vindouras
vítima
vindo
casando-se
transpirava
económico
dormiram
alçandas
dormiam
efectuar
alto-de-f
efémera
casarem
domingo
domindo
efectiva
eclodiu
traí-lo
romântico
romance
significava
simbólico
desejava
danificaram
cuprimento
cúmplices
daquelas
culminar
dando
frustração
funciona
ganham
gémeas
fuga
estava
amavam-se
apaixonada
aprovações
ambiguo
ansiando
esteve
amizade
antítese
estética
amam
amnor
experiencias
continuaram
continuando
exploravam
expontânea
consumado
contractual
continuaria
continuava
contente
contacto
expoente
contada
contar
condenados
considerand
considerare
constante
condição
primordialme
promessa
profundame
promessas
procriação
procuraria
optimista
profundo
paciente
projecto
bocados
julgada
origem
pacata
josefa
ouvia
abria
abrir
o-se
gradualment
guardava
despenhara
devidir
dificil
devoto
relaciona-se
coincidência
reconhecida
reconheceu
passassem
relacionar
assumem
pássaros
pegando
pedidos
famílias
passeio
fascina
regras
reino
cidad
pedir
reina
regia
ajudado
ajudaram
drescendo
ajudarem
casado
ajudá-lo
ajudava
afirmar
alcacer
trágica
casam
almas
dotes
dura
poderíamos
portadora
pertencer
pertencia
podémos
pessoal
perviu
perto
porta
pior
retratada
restou
desconhecia
desapareçe
derrubasse
separação
sentia-se
separaram
descansou
separados
derrubam
desafiava
descobre
dependia
derrubar
sete-sois
descalça
sentidas
sexuais
sétima
sexual
cruzam-se
criando
marcantes
morar
formalidades
forçado
genuíno
frei
escolhendo
anciedade
estiveram
escolhem
angustias
andavam
escolhido
esconder
angustia
estaria
andava
ignora
andou
construir
exempleficar
contribuindo
estranheza
estranhame
conturbada
executado
contratual
existente
exigente
contrato
eterna
encomendad
enamoram
empatia
premeditado
protagonista
abençoados
romântismo
testemunho
preocupava
abensou-os
pretendiam
olhando-se
terminado
provocada
burguesia
morresse
baseia-se
oito
juntaram
largaram
tentarem
prefeita
pudesse
ternuras
caçarola
opõe-se
baltazas
bruxaria
pude-se
olhando
jura-lhe
morava
teremo
olharia
pureza
olhava
aberta
teríam
abaixo
baseia
previa
morta
irmão
largos
praça
jejum
bruxa
pudor
puros
o
jeito
lha
gusmão
voltava
vizinho
vivam
xviii
desnecessár
desfaleceu
desgastar
desgostos
desfileiro
dinheiro
difere
nica
assinado
completarem
complicidade
percorrendo
complement
aproxima-os
completava
complicada
completam
combinado
compreens
realizavam
recolheu-a
pequena
percorrido
referir-se
realizados
pensarem
combateu
reciproco
percorre
realçou
ligação
recolhia
familia
reflete
ltimos
ligava
falar
falsas
falei
lição
libr
caracterizam
afectividade
dirigem-se
carregada
disseram
aliavam
alegrias
carícias
afasta
direita
carnal
ditas
planeado
possiveis
planeou
plantas
pobre
pleno
respeitavam
reprodutivo
reprodução
respeitava
ressentiu
religiosa
demonstram
deparar-nos
demonstran
demonstrou
demostra
sofredora
sinónimo
sofredor
deixara
sincera
servia
serra
sério
materiais
mavioso
margem
máximo
fizesse
fize-se
flores
folho
fonte
foge
flui
especialmen
esqueceram
estabelecer
espontânes
importam
impedida
imediata
escuro
estação
estando
impediu
espirito
esmola
espada
esposa
imenso
correspond
cremado
convidou
cortejo
enforcament
encontrou-o
encontrá-lo
encontra-lo
encontro
enfrenta
semelhantes
salvaguarda
sacrifício
sentar-se
queimam
seguiram
bôndade
saliento
quebrou
quentes
sentem
bonitas
ir-se
caido
honestamen
honestidade
herdeiro
havendo
herdado
vivendo
haviam
vivido
vivida
nido
companheira
companheiri
comparada
maneado
arranjadas
manda-se
comemora
mandava
loucuras
mandão
cometer
maneta
lugar
mando
comer
longos
comia
língua
perda
valeu
livres
sonhava
represálias
renovação
rencontrar
remonta
reparar
interrupções
intervenient
interferiam
interferem
interligado
interferida
intimidade
intreferice
interferia
influencia
intuito
interferiu
inveja
menbros
moldes
impostas
imposto
engravidass
enganava
motivo
participaram
partilhavam
caminha-se
quilómetros
sebastiane
sebastiana
partilhada
raparigas
sedutores
particular
queriam
seguidos
parecida
rapariga
caminha
secalhar
seguiu-a
sedução
segredo
levaram
calmo
levou
históricos
nobres
noites
noiva
perdidament
marcadas
lutadores
maquina
mágicos
perdida
mágico
mágica
postriori
submissa
inseparáveis
intensament
insistência
interajuda
iniciou-se
iniciada
inquisão
interese
instável
meramente
misticidade
misterioso
meses
m-na
inconfundive
inconformad
incansável
incansavel
inaugurar
incentivar
entregam-se
entregavam
enunciado
eróticos
entrega
movida
mútua
mutúa
mútuo
m--se
ncia
noticias
ntimas
nsia
persignação
permonição
perguntar
perigosos
indiferente
envolviment
envolveram
natureza
negativos
nela
observamos
obediente
ocorreu
nutria
obrigatoriam
observar-se
obrigatória
obrigava
obrigou
tenta
superioras
tenciona
tendo-o
unidos
chamaram
chegarem
chegou
acontecia
trono
gostamos
toma-se
toledo
avançamos
fins
verdadeiram
fidelidade
casavam
casou
decide
apaixonam
aperbermo
face
acabaram
bestaião
principe
bênção
tinhm
vira
referentes
ficaremos
passou
ficando
virgem
vilões
agem
alto
descontraid
simbolizam
simbolisa
fugir
amaram-se
amam-se
amavam
amar
amava
contrario
condenado
procriativos
moribundas
preseveran
procurou-o
prometeu
procura-o
orienta
blatazar
procriar
primite
ter-se
ouver
bois
dificuldade
desvanecer
desvendar
passaram
variados
assistia
peito
ajudavam
podia
resolvam
resto
sete
desaparecim
desaparecid
derrobar
derrotar
desafios
sentiam
deram
demasiado
demonstra
fotografias
gerando
fitícias
imaginar
idealização
esquerda
idealizar
escolha
idades
conveniênci
emprego
lembrança
teriam
quantidade
prazeres
bons
lealdade
ternura
provas
palha
olhar
jura
gostaríamos
vivem
vivos
nesta
desenvolvid
desistem
desgosto
combustível
realização
percorridos
recolhendo
pensavam
começam
recolheu
recolher
recolhe
realiza
alimentam
plenitude
possuía
representan
repleta
demonstrar
espontânea
espiritualida
imposição
imperio
corajem
coral
enfim
sacramenta
protegerem
mostrou
sentado
parar
saiu
queimados
herdeiros
viverem
concentimen
começou
locais
posto
interferência
interfere
iriam
partilhando
sebastico
segredos
homenagear
normais
mantiveram
máquina
subreviver
intensa
incondicional
inclusive
entregou-se
entregue
mutuamente
nascer
obrigações
obrigada
obrigado
persistência
perigoso
surgiram
50
certamente
certezas
cento
definição
aconteceu
acesso
vermelhos
venda
de-f
conhecidas
conheceu
acompanha
achou
tomo
verdadeira
auxiliado
ferranho
auto-de
visitada
vidente
auxilio
autos
transmitidos
egoísta
castiga
castelo
través
frequentam
fundou
apaixonados
anterior
expressão
fácil
tivemos
tica
guerras
desportivos
desse
relatado
aumenta
refeição
cidades
clubes
vêem
peço
casamentos
tradições
divinizam
dormir
aldeia
dizem
dobro
revela
risca
significado
sentimos
sentirmos
criarem
ganhando
função
fortuna
amorosas
amarelos
estatua
amado
amigo
construíram
consuante
expansão
estrema
estudo
consideram
condenada
condado
encarar
oponentes
primária
julgados
joão
próximo
orientar
oriente
ter-me
guimarães
dificultada
devida
diga
pedra
reconhecem
comandar
familiares
passando
colegas
totalmente
afirmá-lo
almoço
dividia
adulto
total
pocas
portanto
portucalens
posição
podiam
popeia
sofrimento
relatados
relatar
sequer
simplemente
descoberta
simbologia
depender
sítios
montejunto
moralidade
matando
marido
imaginárias
imagens
existentes
costumes
correcta
criam
exista
encontrava
irreverência
quatrocento
pratecipara
quarenta
bancos
lembro
leitura
pretos
jantar
pura
leis
zamora
voou
competitiva
realeza
começar
valoriza
afinal
possuírem
possuir
representam
religioso
inúmeros
medíocre
focado
imitar
queimada
quiseram
calcanhar
parceiros
seguem
seguros
honra
noivo
comercializa
lutamos
perdão
perder
conclu
injustiças
mencionado
mistura
inabitável
entrou
multiplicam
camisas
canecas
nomiação
noventa
noite
potencias
inigualavel
mento
errados
necessitava
ocidente
objectos
notícia
obtam
ntimo
obvio
super-herois
tenho
tenra
tecto
tamanho
surgiu
usufruindo
universal
universo
vagueia
utopia
chamasse
chegado
unidade
unhas
cavalo
célula
céus
defendida
defendo
deixam
actualmente
adoptando
admirado
aconteça
admirar
tomado
tomara
aceitar
adão
a-dia
verificam
vencedor
venerava
aventura
verifique
vencido
vê-lo
ve-se
catalisador
categoria
troianos
decididamen
defenderem
defendam
dar-lhes
dedicou
decidiu
davam
apaixonara
aparecem
aplicar
apanha
extinguem
factos
conseguido
conhecem
conquista
consegui
aclamava-os
tornarem-se
belimunda
toldar
destinguido
referenciado
autonomia
autoridade
atingiram
austeros
fictícios
atenta
física
feitas
vinda
fique
auto
viria
transfiguram
transcrito
transmite
transfigurar
transcende
transforma
transforme
eleição
educar
elevar
trio
desejos
deseja
cumprir-se
cumprido
cultivado
cura-os
dadas
fundadores
glorificação
ganha
antiguidades
antecedente
antiguidade
continuados
contextualiz
exploraram
explicadas
faça
conservamo
conduzir
proporcionar
propagador
primórdios
acabamos
ouvia-nos
princípios
blocos
bíblia
biblia
guarantiu
guardar
guia
deterimento
destacaram
despoletar
reconhecime
recordarmos
recordá-lo
fantástico
cientistas
recorrem
passos
assumiu
astúcia
passe
reis
viram
alcançando
alcançados
aguardava
dizendo
africanas
ajuda-as
dotados
trágicas
alcança
ajudam
alcácer
agente
trágico
duram
duvida
aflitos
retratavam
restringe
resumir
riqueza
retirar
sentimento
significa
simboliza-se
sentirem-se
criminalidade
croncetos
cristãos
crítico
cuidar
criar
crias
crise
crist
gigantes
fulcral
identificação
identificamo
escravatura
idolaterado
igualmente
escondem
estivésse
alvejado
estima
igreja
ideias
ando
exemplificad
contribuição
exército
concordand
concluo
oportunidad
baseava-me
provávelme
justifiquem
abençoado
abordando
abandono
justifique
território
premios
terrena
preços
ontém
prédio
cabelo
lançar
prove
rumo
ruína
puro
gostávamos
gostos
vulgar
guiou
desgraça
desfecho
deve-se
comunidade
assinalável
combatem
pensamos
realçaram
combater
referirem
completo
comanda
falarmos
pensaria
colocam
assente
variada
libertou
familiar
colher
regem
lições
falta
tornou-se
caracterizav
disciplina
dispõem
carros
adquiriu
trabalhe
distante
cara
dirão
pertectuar
pisaram
pondo
põem
sonha
reserva
relatos
resta
situação
demonstrad
socorria-nos
desafogada
socorrem
socorrer
delicias
dentes
delas
seta
monstros
morais
matar
moral
fizeram
esquecidas
escritores
esquecer
escreveu
escrever
evolucionism
crescimento
evoluções
evolução
costuma
cresçam
eventual
evoluem
corta-se
criação
eterno
creio
cria
saber
lembrando-o
ironicament
lembramos
lembraria
praticada
praticam
leccionar
lesões
lemos
lenda
caia
havia
voltando
hão-de
houver
vogue
zorro
nesse
nessas
nicos
ltima
começamos
argumentar
argumento
valerosos
literatura
aqui
valeram
limpa
livrar
lusa
remete
interpreta
invasores
intimos
melhorias
membros
fogos
imortalizar
específico
esperam
espécies
calcanhares
saramago
queriamos
motivação
satisfazer
saudáveis
motivam
salvarão
partindo
rápido
seis
partilha
séculos
segura
levitar
quibir
rasto
salve
raça
historia
maravilhoso
maldade
maiores
perdia
magia
males
postriedade
postos
informação
intelegência
inspiradora
influênciam
inspirados
inspirar
mereceu
miséria
modela
míticas
impulso
ensinamento
ensinar
muralhas
múltiplos
nalguma
movidos
nadador
mundos
capinha
n8unca
naquilo
mouro
cante
novamente
novas
perpetuado
perpetuou
perpetuar
independênc
indica
ergue-se
naturalidade
navegadors
navegadore
negro
objectivo
ocorrem
notáveis
obter
superar-se
superam
tenha-se
temática
técnico
tarefa
surgimento
surgirem
chegada
acreditarmo
acredito
actuais
chamadas
chama-os
chamada
chama
celestial
defensor
tomando
acusado
adoram
azafamada
victorioso
venerado
vestem
dar-se-ia
glorificavam
aparece
apoiar
facilidades
conseguiria
conseguia
conhecer
confunde
conhece
conjunta
conforto
conforta
benefício
tornam
tipos
acabe
toca
destinga
finalmente
atribuídos
veja
ficcionários
violento
ficamos
vimos
vídeo
transmitindo
económicas
elucidasse
tratasse
elemento
casaram
efeito
trata
robin
desencadea
descontraíd
desdobram
desejo
cumplicidade
cumprimento
dando-lhes
daquela
dado
damos
culto
fundamental
frequência
glórias
ambicionamo
amam-me
ambiciona
amores
ambas
contarmos
contornos
conspiração
constatamo
considero
conservar
batalhou
ouvimos
osso
grupo
guiaram
guiasse
destacar-se
desvanece
detentor
assumiram
fascinados
fantásticas
regressar
recuando
assunto
faze-los
passo
regime
faria
duadores
agradeço
ajudasse
alcance
divinos
ajude
agir
portuguesa
pico-lírica
pilares
revolucionári
revolução
sentidosentimental
descobrimos
sete-sóis
desaparecer
shirt's
crises
formaram
idolatrado
idolatram
estimulo
animada
escolar
estiver
escola
ideal
ilha
estudámos
estrelas
existiria
estudei
estres
concretame
enaltecidos
enaltece
emente
brincadeiras
justificados
preservada
precisarem
precisámos
morrerem
juventude
prepósito
preferida
preferem
roubava
bosques
teresa
oposto
lançam
pública
ladrão
brasil
busa
gostariamos
gratificante
gostármos
wrestling
voadora
vitória
desistirmos
desistindo
dignidade
devéras
dever
desiste
nestas
pensa
complicaçõe
fala
passagem
percebermo
comportam
percebê-lo
realizaram
percebido
passamos
realizam
lideram
pensou
falam
ciclo
líder
falo
característic
carismáticas
alimentados
caracteristic
carismática
diversos
aliciado
divinas
carne
alem
ditos
possivelmen
políticos
pobreza
solidariedad
inevitavelme
simplicidade
sincerament
seria
sobreviver
indivíduos
servirem
sinto-me
depende
sermos
sociais
deixar
sítio
material
maus
estão
esforcem
esforços
impede
imensa
eternizados
eternizado
eternidade
crescidos
covento
crescido
costas
exacto
exalta
corpo
crêm
crer
encontradas
encontram
encontra-se
mostrando
sensacionali
sacrifícios
salientado
protegido
salgueiro
senhor(a
mortes
bonecos
protejer
queiram
lendária
mortos
pratica
saia
houve
huma
vontades
haveria
armadas
arranjar
arrisca
lisboa
válida
lucro
souberam
resposta
reportando
religiosos
remotos
religiso
invejados
melhores
impostos
imposta
sebastianist
seguidores
salvár-nos
seguirmos
querendo
saudável
sálva-los
quize-se
século
quinto
levem
quis
levar
histórico
histórica
mãos
lutador
manda
maia
subjectivo
interessante
influênciand
inquisição
ingénuo
injustas
insultos
inorme
inspira
inglês
mergulhare
mistificada
mereçam
messias
mitifica
miúdos
menor
moda
enquadra
munetários
muribunda
mulheres
narrativa
move
ntal
permaneceri
permite
perfeitos
perfil
supera
independent
indispensáv
epopeia
erguer
negativo
negócio
nautas
negar
ocorre
teja
utilizada
usar
chamava-se
ultrapassou
chegando
certeza
cheia
acreditaram
acreditando
chamados
causado
causas
deem
adquiria
tomam
ferozes
baixa
avós
daqueles
david
conseguimos
conseguidas
conserva
tornarem
tornado
bens
destino
referências
recusavam
refere
autêntica
viesse
transformar
edificamos
doença
riscos
desempenho
cumprirem
dados
custo
frente
amados
continuo
conte
considerava
considera
ordem
procurou
padeira
julgado
pronto
bispo
boas
guardamos
guiamos
guie
determinada
despercebid
diferente
dificeis
recuarmos
fanatismo
relações
recorrer
coberta
aljubarrota
casados
alterar
alma
resolve
desbravador
sete-luas
simbolize
crockett
fraco
estarem
idealizados
identificar
escolhidas
escadas
alváres
ilusão
idade
exemplares
estudado
conclusão
concluíndo
provavelme
lançando-se
preconsenti
proveniente
precisamos
bomdozo
barreiras
terrestre
kentucky
morrido
mortáis
rvore
basear
voadores
vive
desenvolvim
neto
percorreu
aproximar
vantagem
falecerem
complicar
aspectos
valente
fadas
vale
disenrascad
afins
ponha
sonham
respectivam
respeitam
relato
infectadas
servindo
dela
servir
deixou
séries
serie
sinal
essencialme
esperavam
impossivel
escritos
esperar
evidenciada
evidenciar
cresce-se
crescem
evolui
encontramo
mostra
proteger-se
mostraram
levanta
cair
lepra
sair
houvesse
heróicos
viviam
horas
ninguem
comparaçao
linguagem
literárias
cometeu
lutarem
madre
longe
livro
sosinhos
sosinho
iria
intuição
iram
memoráveis
específica
espera
enfrentou
enganar
participação
sebastianism
parecer
calcut
nomes
marcados
lutadora
ingenuidade
mentalment
mereciam
metia
enúmeros
entra
navegaram
partiu
obrigação
oceano
perguntava
suficientes
obcessão
obterem
nuno
super-herói
telenovelas
tenessee
73
util
ultrapass
cerebral
censura
chamar
admirável
acusá-lo
adorado
causa
defendem
defende
acabou
referencia
vejamos
atingida
atribuir
baixar
físico
travou
dúzia
dade
continua
explicita
constróiem
constrói
consiga
prosseguire
próprias
príncipe
tive
desrespeitar
destruindo
destrói
relacionado
civilização
audácia
vindos
cima
alcançou
traição
dizia
resulta
sentimentos
significados
depositam
sentiram
simbiose
criminosos
fortes
gato
estavam
aproveitam
iguais
igual
estudar
condená-lo
concurso
profissional
psicológico
procurar
prederem
opressão
abranger
optaram
procura
paixão
braços
opção
jovem
jogos
basta
gostavam
dignificando
diferencia
desolado
deveres
variadíssimo
realizarem
regência
regalias
falado
ciclos
alta
pirâmide
pertencem
podem-se
pode-se
poderia
poemas
policias
poeta
soldados
deixando
sentia
indivíduo
seremos
seram
marinheiros
moralizar
imaginações
essenciais
escritor
eternament
costumam
exaltados
encontraram
provável
cadeira
irreal
largas
caem
habilidade
vizinha
nesses
nessa
nico
comparados
valorizados
concedida
limitações
conceito
arriscar
vamos
luas
afecto
respeito
responsabili
representar
respeitado
relevância
ressaltam
invejam
meia
impossível
imobilizadas
esperanças
imortalizou
seguirem
salvá-los
seguidas
levantar
caírem
hora
maioria
subir
interesses
merece
enorme
nascem
motor
perdido
povos
substituição
indestrutível
incutir
ento
envenenado
nasceram
necessita
ocupa
n'os
superar
suposto
chega
definir
acreditam
acontece
tomar
acaso
apercebemo
aparelhos
extraordinár
consciência
conquistado
conquistara
conquistas
conhecido
tivéssemos
torná-lo
tirar
atitudes
atraves
fictício
faz-se
fita
efemeridade
transmitir
elevados
desejavam
daquele
fundamentai
frica
antiga
facil
acabar
grita
destruição
destaco
pátria
fase
retratado
reza
cuidado
estaríamos
identidade
contribui
bombeiro
morre-se
justiça
cabo
preservando
morcego
preso
teoria
grécia
nião
diferença
completame
referir
pena
trabalho
direito
carinho
disse
carro
pobres
polícias
somente
sofrem
solução
160
ressurreição
resolver
resolva
dependente
símbolos
socorre
fome
fontes
fizer
imediatamen
esquecemos
estamos
imperium
especiais
implicar
existiam
crentes
convive
encorajam
protege
senhor
vivemos
livre
apuros
representad
renascer
repleto
melhorar
meios
queimado
viveram
vive-se
lutam
inspiração
instalados
inspiram
iremos
inteira
missionários
modificado
entrar
permitem
entidade
episódio
nasce-se
74pensamento
chevalier
chegar
chova
ulisses
deixa
gosta
admiramos
adquiriram
admiram
verificamos
aperceberm
apareça
conheciment
consequênci
todavia
atingem
faz-nos
doenças
elvis
rock
desempenha
desenho
funcionam
conduta
prolongado
desses
difíceis
referido
pedem
classe
divinizados
alain
descobrimen
descobridor
criou
gheerbrant
animado
existiu
encoberto
palavra
terceiros
precisam
prender
viva
digna
devem
pensar
pensarmos
distinguir
positivament
perspectiva
possíveis
poderem
religiões
denominado
imaginário
essencial
coração
existia
criados
criada
cosas
corre
sacrificou
protegem
haja
localidade
lutaram
inúmeras
santos
santo
seca
liam
marcam
perdem
mitológica
merecem
incêndio
capacidades
mudam
cantar
m-se
personagem
talvéz
acho
extrema
conservam
confiança
benévolos
atenção
d'os
simbolizar
constitui
guiar
colocado
população
simbolo
dele
monteiro
imaginados
ideais
existam
sabendo
sabemos
desiludiram
começa
comportame
pequenas
luar
convicções
correr
crescer
quer
sejamos
lute
sonho
sttau
influência
queria
nação
perfeição
admiração
glorioso
acidente
feliz
autores
vistos
desejamos
principalmen
destas
agora
cuidou
garra
estatuto
amigos
primeiro
territórios
morrem
dia-a-dia
dignos
coisa
pequenos
referidos
afirmado
trabalha
casa
relembradas
desaparece
descobertas
encontra
prova
voar
possui
momento
fogueira
espírito
espécie
corajosos
corações
encontrou
enfrentado
rainha
heroísmo
heroínas
hércules
heitor
interesse
nasce
sucesso
mente
então
nele
obstáculo
técnica
cedo
adquirem
acordo
vencer
acima
fisicamente
atitude
dolos
anteriormen
antigamente
conta
guerreiro
dessas
ricos
sido
geração
ganhar
contrário
presente
primeiros
batalha
realizado
divinização
dito
sobretudo
marítimo
crença
jamais
leva
caído
volta
comparado
quotidiano
salvarem
seguro
marca
nove
sujeitos
ente
natural
obviamente
surge
acontecer
acções
felizes
figuras
verem
aparecer
conheceram
conquistou
próprio
tornar
fica
fazemos
ambição
jovens
optou
guerreiros
guiar-se
fantasia
fases
alcançar
casal
descobriram
gente
formar
bartolomeu
sabedoria
terão
grandiosos
desenhos
neles
aspecto
disso
alexandre
carácter
adultos
poca
momentos
importantes
império
sabia
lutou
segurança
salvou
maior
mítico
mitos
envelhecer
passa
suma
naturalment
temem
tema
chamas
torna
destes
ficaram
problemas
difícil
divino
ideia
embora
175
precisa
voltasse
goza
passam
comuns
infância
correm
salvação
medos
nome
entretanto
mudar
individuo
tendo
181
centenas
acreditarem
actualidade
vemos
felizmente
fernando
glorificado
dúvida
afonso
dotado
rodeiam
cultura
continuar
ajudou
marcante
sabem
possam
positivo
religião
levam
henriques
hérois
sorte
intelectual
memorial
enfrentaram
navegados
superação
107
defender-se
atingir
apoio
batman
feito
cristo
considerada
padre
governo
deve
marcou
estar
voava
valor
invencível
quero
salvo
histórias
manh
tenha
acredita
viam
tróia
auto-de-f
futuro
problema
duas
desconhecid
freire
exemplos
jesus
diferentes
colectivo
além
situações
lembrar
salvador
termos
valentia
sonhar
espiritual
querem
salvam
passado
perfeito
perigo
perigos
visto
atrás
rezam
animados
concreto
olhos
junto
adversidade
diversas
disto
mares
encontrar
interior
meio
querer
interessa
mito
acabando
determinado
determina
passarola
marcar
concordo
realizar
valores
partir
mulher
tentando
tenham
tornou
sentir
fosse
glória
amorosa
ambos
graças
gregos
comum
quase
terem
morreu
possuem
representa
reais
viver
modo
capaz
ndia
acto
tornar-se
tinham
presença
bravura
morre
grandioso
possível
personalidad
serve
sociedade
deles
bondade
vivo
héroi
novos
137
48
190
adquire
acaba
claro
gerações
existência
podendo
social
morto
salva
logo
objectivos
oferecer
conseguiu
deste
fundo
reconhecido
vasco
esqueciment
concluindo
fama
possa
simples
esforço
heroína
haver
infelizmente
capazes
talvez
verdade
ficou
batalhas
terras
existir
mortalidade
juntos
voltar
realidade
posso
relembrados
real
tarde
tambem
conseguiram
tiveram
sabe
dificuldades
família
55
humanidade
nível
obras
tentar
43
gama
guerra
cabeça
nevoeiro
relembrado
imaginação
especial
71
134
filmes
conseguir
ajuda
preciso
livros
modelo
gloriosos
verdadeiros
filho
considerar
divinizado
porém
25
64
22
101
médicos
inimigo
normalment
observar
122
dolo
general
teve
andrade
humana
luís
luta
novo
personagen
169
184
actos
consegue
fazendo
dois
fruto
forte
lado
dentro
maneira
medo
queremos
normal
gomes
verdadeiro
altura
desta
eram
104
178
38
32
84
ultrapassar
próprios
bombeiros
aranha
entanto
obstáculos
superior
88
tinha
própria
colocada
direitos
serão
lutar
dizer
passar
65
somos
esquecido
vontade
razão
surgir
túmulo
qualidades
ponto
61140
94
154
baltazar
filhos
casos
dias
penso
desenhada
português
163
15
146
esquecidos
sejam
mensagem
capacidade
televisão
através
vista
ficar
existe
mortais
melhor
memória
opinião
terra
papel
119
166
187
35
51
tipo
banda
69
simboliza
tempo excerto
98
criança
lembrados
país
157
125
conseguem
coisas
forma
contudo
neste
tempos
41
esperança
necessidade
116
ficam
sobrenaturai
símbolo
enquanto
12
97
31
78
morrer
enfrentar
111
58
172
131
mortal
imortalizado
imortal
68
facto
durante fazem151113
alguem
45
91
referência
vidas
camões
inimigos
143
ajudar
realmente
apesar
necessário
128
serem
devido aindaobra
acreditar
proteger
aquiles
nunca
depois
divina
portugal
28
seres
hoje
portugueses
foram
importância
18
protecção
morte
sobrenatural
história
terrestres
sendo
fazer
defender
deus
união
celestes
sebastião
humanos
apenas
pais
herois
anos
138
adquirir
lusíadas
crianças
podemos
caso
81grande
mundo
existem
relação
coragem
salvar
imortais
super
amorlongo
seguir
heroi
grandes
poder
poderes
36
podem
155
deuses
figura
considerado
forças
assim
cidade
força
baltasar
povo
vezes
18846
temos
seja 161164
blimunda
19
importante
117
144
feitos
26
12049
homem
158
75
102
132
66
imortalidade
152
149
185
59
176
147
39
52
33
também
56
pessoa
89
exemplo
92141
173
7295
pode
129
126
85
114
179
182
13 23
191
humano
29
108
109
sempre
167
105
42
79
123
82
76
-10.0
pessoas
16
99
62
135
170
vida
-20.0
heróis
-30.0
-30.0
-20.0
-10.0
0.0
Figura 3.9.4.2. Biplot construído com os dois primeiros eixos da decomposição de uma matriz
abrangendo as respostas A), B) e GIII. 139 Esta figura corresponde a uma matriz X (n, p) com n= 3993 palavras, p= 181
formada a partir de 181 textos de resposta correspondentes às A) e B) do Grupo I e Grupo
III.
A variância correspondente a este biplot (dois primeiros eixos) é 37% do total. Pode
constatar-se agora que os três grupos de textos correspondem, respetivamente, aos Grupo
III, B) e A).
Isso pode ser visto na figura 3.9.4.3. em que é apresentado um biplot de d= 3
dimensões (representando 43% da variância total) e em que se vê, claramente, os três
grupos de textos, cada um correspondente aos textos de resposta a uma das questões GI A),
B) e GII.
Figura 3.9.4.3. Biplot correspondente aos três primeiros eixos da análise envolvente GI A), B) e
GII. Esta análise confirmou a reconhecida capacidade das análises LSA/Biplot para
descobrirem a estrutura dos significados subjacentes a um certo conjunto de textos
considerandos apenas as frequências de ocorrência das palavras nos textos como a validade
da respetiva implementação no programa PAET desenvolvido para operar as ideias desta
tese.
140 Voltando agora ao ES, construído com os textos usados no ensino do Memorial do
Convento de José Saramago, vai-se usar como AT (Amostra de Testes) as 120 respostas A)
e B) às duas questões do exame de Português (12º ano), de 2008, relativas a esse tema.
A figura 3.9.4.4. apresenta agora não só o ES como as projeções sobre este ES das
120 respostas, metade das quais relativas à AT e as restantes relativas à amostra de treino
(T).
capítulo
10.0
baltasar
padre
mafra
blimunda
bartolomeu
máquina
lourenço
construção
pedro
711 partida
conheciment
monte
voar
viagem
trabalhos
684
casal
junto
688
nascimento
pedreira
sete-sóis
vela
assistimos
holanda
descreve-se
infanta
regresso
tomamos
doença
acompanha
690
bárbara
promessa
encontro
decisão
sebastião
final
venha
713
infante
689
roma
scarlatti
depois
primeiros
basílica
parte
feita
716678
trabalhar
voador
vemos
deus
desaparecim
estabelece
arder
disse
686
676
seguindo
francisco
mandar
príncipe
milagres
altar
tenho
terras
assiste-se
haveremos
sádico
apara
participar
esmagament
recomeçam
descida
sagração
aniversário
sobrinho
teja
obrigados
marinheiros
científicos
provar
cólera
espingardea
poderes
jornada
vergas
discretamen
revelação
dá-se
cura
agricultores
mateus
convida
região
empoleirado
fala-se
envolviment
epidemia
paço
ocorre
febre
conclusão
aumentar
venderem
incêndio
amarela
pontaria
réplica
damo-nos
alentejo
religiosidade
conseguidos
contrabalan
conta-se
corrupio
crianças
funerais
constrói
reparar
expropria
entretenime
entretém
quinta
estragos
boeiro
sujeitos
suicídio
informados
informar
informal
frustração
gastos
edificar
faz-se
benediction
tourada
barcos
toma
relacionamo
miséria
janela
beirinha
capítulos
reais
música
sabe
esquerda
pedra
inquietação
procissão
degradação
reiteração
miniatura
solou
dirige
cunhado
neve
começa
chuva
falte
inauguração
inaugurar
vento
sopre
alague
primeiro
visitas
tranglomang
baptizado
caia
terreiro
visita
extrema
igrejas
contacto
toledo
pobreza
152
pero
chegar
revelar
passagem
segundo
setecentos
breve
fogueira
caballeros
torna-se
jerez
tentativa
filha
sonho
domenico
família
caracteriza
ambiente
somos
fosse
transporte
alto
ento
sabemos
710
jogo
casamento
professor
corpo
notícia
milagre
diferença
participa
oposição
voadora
concretiza
pinheiro
outubro
franciscanos
abre
irmão
atravessa
escolha
primeira
riqueza
encontramo
origem
palácio
estão
fazer
687
marques
nesta
projecto
inicia
segredo
palavra
679
alquímico
lemos
respondeu
filho
medo
auto-de-f
perdeu
busca
nuvem
diversas
715 719 680691causa
681
gancho
voaram
pergunta
excesso
união
vime
ferro
simbologia
libertar
construir
suspeição
tens
tendo-lhe
tropeça
valido
troça
lembrar-se
antigos
esperanças
universellem
voou
chamam
honestamen
responder
sóis
obrigações
pudesses
esferas
espiar
ardeu
trazem
voei
cerca
fidalgo
mora
indulgência
poderemos
junte
verei
retirou
custo
patriarcas
materializa
majestade
corre
viveram
voado
intercessão
peregrina
saiba
distrai
honorífico
reparou
seguem-se
noite
conjugação
frequenta
conseguir
ouvido
ouvir
acomodasse
acolhido
perguntou
estrada
estarei
spirituel
cresceram
constru
reparo
frotas
gabar
favores
preparativos
firmes
tornou
braços
porta
impertinente
sentou-se
séquito
elemento
efectivo
totalidade
benévolo
balões
atravessava
trois
testamento
tempestade
ternária
teriam
terre
tri-unit
unidade
unir-se
chamas
harmonia
sacro
lembre-se
lembrarei
vieram
l'être
profundame
códigos
entardecia
aspirou
celeste
guerra
comunicada
gritou
grito
leia-se
vim-te
vinda
résulte
pano
sobe
número
obrigam-no
colaborador
colher
clamar
ciel
essência
estações
encontros
ensaiar
orador
feitas
acontecera
deificação
conciliar-se
conduzido
perturbar
morre
ndia
juntos
inquieto
juntar
dominado
dogmas
dissemos
dores
diz-se
retórica
passaria
pátio
refugiarem
queima
combina
luminosa
produit
l'union
lutar
escarlate
exercitar
enganado
enfadar
ordre
vivant
cardeais
692
queira
quiseres
21
fechada
abóbada
interiorment
intellectuel
estranhasse
estivesse
tipicamente
auto-de
vendados
plenitude
veículo
podes
pontos
instituído
representam
houve
declamações
secretament
setecentista
secretos
liberta-o
símbolos
serviu
nombre
desmanchar
contemplou
conjonction
constroem
conivência
constituída
remetem
criador
esconde
fases
aproximava
fondamental
flor
finge
físico
abre-os
bairro
perca
suspeitarmo
subitamente
synthétise
impede
simbolizando
sentimentos
l'homme
luas
louco
difamações
dezanove
fugido
reina
dieu
preparar
intrigas
transgressiv
tocarei
trarei
sequer
sermões
sente
misterioso
iuris
etapas
capelão
atormentad
atirou-o
usamos
usboa
vale
chega
hebraica
anti-poder
tempera
tenaz
testa
assente
astros
unificadora
universum
universi
ombros
tristezas
trio
chamariz
sacrifício
viéssemos
aparece
veteram
víamos
lembrou
apagar
lendo
ressequido
participasse
sólidas
nuvens
cobrem-se
cobertura
coetera
cobrindo
esperávamo
encontrados
espelhos
esperou
ontológica
trazidas
olhava
opera
trazia
voltas
carregada
casados
recentiorum
rechonchud
recolheu
raspa
ramo
desce
guardava
confissão
sabedoria
piedosa
grávida
saberias
mundos
rugas
golpe
ruína
antagónicos
violentamen
ansiosament
lamacento
virtuoso
visionário
violência
lamela
violento
lareira
respectivam
resistência
resistia
retira
sobejavam
sobrevoa
pancada
sobra
panela
temas
tecto
colectanea
masculina
mariana
cheia
provar-lhe
qualidades
científico
profano
puxou-o
puxou
quam
cintura
civilis
punho
clarão
esqueleto
esquerdo
entender-se
encorreado
archote
arca
oprimido
prodígio
voarás
cedesse
cegos
reconstruir
feitiçaria
deitando-lhe
desferindo
acusações
deitou-lhes
descaem
deixavam
acusada
deixara
complement
completas
concepção
estilhaçada
condutor
completar
pescoço
estimado
condição
estalava
mordido
nascido
saiam
rubro
julgaríamos
andorinha
sonhado
incógnito
lágrimas
lados
versa
divulgados
diversament
divinização
doctorum
diviniza-se
dito
revelam-se
cumpre-se
dava
sebastiana
parece-me
paralelismo
pareces
partilha
agarrarem
agrilholados
afirmativas
névoa
ntima
mecânica
mbar
mato
conselhos
merece
malho
regaço
forja
lume
esclarecida
escrituras
exemplar
faltando
doutor
escapa
escura
dorme
d'une
apresentand
envelhecime
enferrujam
enlouquecer
envelhecer
aproveitava
enfrentam
enxugou
ocasionou
procurar
praça
oxal
vitória
vivem
querem
feminina
acompanh
abençoado
açougue
acharam
acordado
achar
perguntava
comparando
concordou
perguntada
comparada
compaixão
pedreiros
pegares
estavam
bigorna
pegava
aulas
esteira
peles
salto
pontificum
insuperável
souberam
inaugural
inflamado
inferiores
amarelo
ambígua
apertou
vejam
incipit
põem
vêem
plebeia
pólos
sopas
plena
vê-la
reportorium
reposteiro
represent
humano
hóstia
semelhança
licenciado
sinédoque
libertada
segurar
serviria
liberte
sejam
selar
libri
alcunha
alastrado
noutras
tapado
alegrias
aliadas
ajuda-o
ninho
nicos
nove
desmanchou
continuado
consclencia
destrança
fragmentári
constrói-se
destacam
despertam
construído
contente
metálico
destrinçar
destrui-la
metade
cortam
renegar
cortado
criam
comida
fortes
diga
corta
fraco
frágil
frei
coto
ecclesiastici
escolhido
escondido
duvidosas
eclipses
exprime
existir
primavera
precisam
primazia
precisa
precária
fingimento
forçados
física
abre-lhe
aceitas
permanecer
bacharel
brancas
estranha
brilhar
estrelas
tornaram
tornando
sugerem
surgindo
polariza
sublinhar
sustos
sujo
igualmente
iluminados
impalpável
decretalistas
declaro-vos
decretais
defeito
dedinho
simbolizado
simbolizam
sequência
separam
sentam
logo
l'ordre
logro
senta
aliviou
mofo
regressava
ganhando
meteu
fugir
eleitos
preconceitos
pretendem
pregador
fogo
absurdamen
absolvidos
académico
acabasse
inventor
inverno
bálsamo
balão
barba
avisos
trabalham
estudante
tiveram
tornei
totalit
tocar
tocou
pôs-se
deficiência
local
miticamente
cristianizado
missa
iríamos
calar-se
calcou
caldo
eternidade
beiral
base
batendo
batia
canonicame
capazes
canonici
candeia
exaltar
canseira
canoso
cansa
excentricida
exceder
tensões
atravessado
atraso
vais
hébreux
ricamente
terminaram
terço
espanhóis
atavam-nos
valorativos
variantes
variando
tropa
valor
castelhanos
chamava
chamou
chapéu
harmónica
aonde
letrados
viagens
resposta
risada
rins
participação
cocheiros
classes
coches
cobria
coche
espelha-se
esperando
esperava
assaltando
arrasta-o
assedia
armas
ontem
trevas
olha
voluntários
zumbaias
xabregas
voyaient
voltou
chamamos
chamado
cena
reagem
recebe
realça
adiantada
sacramentai
sacrificam
guardado
sacraliza
comunica
gritam
homogéneo
lavradores
violando
vinham
virada
largo
l'âme
leis
viria
retemperad
resultou
solavancos
sobreviver
sobrevoar
sobressai
sofrem
sociais
obscurantis
objectivar
teme
ciliciosament
clarividente
pungente
provocou
profecias
próximos
colhendo
cingem
claras
cima
espiritualida
esquecendo
esforçam
ensombrada
entendiment
ensinam
arde
operários
opressão
opõe
certamente
c'est-à-dire
carmesim
cegueira
centrais
certeza
cauda
céus
c'est
ceci
recri
desencontra
desgarradas
desejáveis
desenhado
desconfian
deitava-se
descobre
desertava
desenho
descalça
descrita
addition
deitar
adaro
adam
completeme
confere-lhe
configuram
moralístico
pescoceira
sagrado
nascesse
confunde
multidão
giravam
complet
confins
sábios
saía
aparências
apelidados
angéliques
verificável
journée
leituras
juntava
inimigo
lacaios
juízos
doméstico
dogmática
directo
donne
divino
reservados
resgatados
retratadas
retratados
curtas
curar
cycle
curta
passamanes
patéticos
passes
sexualmente
partilhar
panos
parede
pálida
papa
ntimo
teclas
quadrilheiros
convencia-o
queimado
corregedor
conversa
começar
marcação
conversar
mendigos
refugiada
materna
madeira
maiores
cordas
queda
maça
luzes
mâle
empurrava
encarnada
dormiram
dourados
doutores
famintos
escuras
encarna
escasso
escape
faltem
d'un
encontrarem
aproveitado
enegrecida
aprende
enviado
apostar
arame
ostentadas
procurasse
procura-o
procriam
painéis
pagens
pagam
ordres
orfeu
prata
vivências
vivo
viva
cardinalícias
cardinalícia
cardinalício
carcereiros
carícias
cargas
felizmente
femelle
fechar
acompanhad
depreciativo
desacertar
acreditam
derruba
désigne
interiorizada
interesses
interditos
salteadores
mouvement
condenada
compagne
perfection
saltarelos
morreu
concluira
mortalha
movem
naturais
salda-se
perdura
roubava
pena
rostos
salvar
esteja
mortal
rota
inaugurando
71
amoralidade
inquisitorial
720
inacessíveis
improvisada
ambos
planétaires
anacrónica
instruçáes
somando
amoroso
amantes
sombras
42
amada
amanh
vedras
veludo
jogos
amar
amos
pinto
pista
poço
diversificada
distinguem
distintos
humanos
humaine
repetia
crucificado
debandava
dans
decidir
croit
sintagmática
levantando
levantadas
secretários
semânticos
secretário
servido
satírica
levada
servir
sítio
advertência
tardavam
alagados
afinal
alcorão
nergies
tecendo
ajudam
alheios
tarefa
conhecido
mergulhasse
desprendeu
recusava-se
mandando
constantes
cortadores
despedida
consabida
melhoras
medicina
redentor
começou
comédia
devagar
devendo
forrada
recusa
francês
comer
meros
conseguem
contrasta
digam
digo
escolásticas
dynamisme
explicações
dynamique
escondiam
extenuada
escondida
facultando
facilmente
escravos
extremo
durailte
faço
farsa
entregam-se
equivalentes
aquando
entrava
principaleme
prescritas
precipita
presos
visitar
quintais
finalmente
demasiadas
demorando
abandonar
abraçados
intersecção
romanesco
estrangeira
pentateuco
austríaco
perigoso
estáticos
rodeada
perdem
perdão
rodeio
estaria
boca
estás
bocal
aussi
informar¬se
subitament
subversão
sucessivos
symbolise
suspeitas
suprema
talhados
symbole
poetas
talmud
talha
humildement
horas
imediações
iluminando
idênticos
ilustram
cruzado
levantar-se
levanta-se
l'éxistence
liteireiros
ligados
ligado
liteira
sept
alienam
alheia
metendo-se
fuligem
gemem
fugiu
fugas
galés
dificuldade
cosmético
contactos
regressa
contíguos
cósmica
ecovisão
faziam
escândalo
eróticos
erudito
privilegiados
precisava
foram
fois
absolutamen
abstinência
acabe
intolerância
inutilidade
transforma
transgressor
persecutório
perseguição
transgridem
barregudo
tornozelos
baptizada
estribeiro
baptismo
permitir
budescos
brandão
barrete
azeitão
estuda
tocava
tomás
torres
avião
cabe
tora
impossibilida
imposta
dédouble
dedos
localidades
sentava-se
sentença
sermão
lisboam
serás
l'on
alojam
miudamente
mito
cristã-nova
relapsos
efeitos
effet
premiere
pregão
introduzi-lo
involuntaria
investidura
isotopia
irregular
italiano
inverso
traçam
trágica
estufa
belos
bien
lixam
cristo
jejum
camaristas
europeia
caiu
bate
joanina
cancelos
exceptuand
canonistas
excêntrica
execução
cantarina
capelães
examina
cara
tínhamos
atrás
ultrajada
utilizados
vagueia
vaidoso
heranças
ridicularizad
tendendo
tetraneto
tesouro
assombro
associado
atendida
artífices
artistas
assiste
asturia
atar
unicamente
varrasco
tribuna
varões
oliveira
onírico
variam
trineto
vazão
urdir
vaso
vede
casual
habilidades
hipotáctico
hipocrisia
haendel
sacros
hábito
hinos
latinizantes
anticlerical
antiga
virem
lenha
virar
anti
responsável
rgão
proporciona
propósito
profunda
promete
prosaico
cobrar
cobro
esperança
esperar
espácio
arquitectural
armónico
ascender
arquivo
armou
trazido
ofícios
olhai
olho
oiça
zarolho
vulgar
zação
vulgo
casamentos
cerimoniosa
casando
carta
recomendou
receberam
recebem
razões
rebelam
receber
raminho
reacção
rastos
raiva
desculpabiliz
adiantado
descer
descaro
sacramentos
historicamen
confundida
homossexua
confiscados
conhecer
concebe
grávidas
sacrifica
sagrada
graciosa
comuns
graveto
guardi
gozam
sabeis
saciar
gostos
grau
homenagem
aparecendo
lapidaridade
visionária
verdadeiro
lâmpadas
justificar
aniquila
lembram
lançada
virtude
vindos
anno
lazer
violas
vira
resistências
resultado
restos
sobredourad
pandeiretas
partições
sofrendo
particular
situa-nos
soldados
solfas
sofre
obscenos
te-deum
teimais
obrara
teia
protagonista
maritaggio
matéria
psicológica
pudessem
purgatório
quaresma
provérbio
puseram
marreco
mastros
protege
psalmo
marido
ptima
esquecer
encomende
esegui'nel
esforça
estadia
escuto
entoando
arbítrio
oportunidad
oferta
celebrarsi
cavada
cedo
recorte
reçoit
rabo
fidalguice
fidalgos
ficaram
deitando
deitados
deixam
desenvolta
desenrolar
desejo
designa
desejos
deserto
composições
compositore
gigantesca
completos
estilização
moralistas
morgadio
pesquisas
morrendo
confessor
mortuário
motetos
morrem
motetes
rústicos
múltipla
nascem
saiu
musical
confere
nasça
sairão
navios
gesto
muda
m-se
rude
pilha
judicativame
julgamentos
sonhadora
apelido
sonhar
anexim
veriam
aparte
julgue
laço
distribuiremo
distantemen
disfrutando
docemente
ditemática
dizem-me
discípulo
dolorosa
dividido
disso
dividida
dívidas
dízimo
repudiadas
reprimidos
requebros
retratada
retóricos
curioso
paralelística
severament
pedagógico
pecadores
passou
pecadora
parentes
patente
palazzo
paradas
sexuais
paraíso
pátrias
pavor
pátria
peça
pede
pálio
peca
tecladament
admirável
agraciado
agravada
agradou
agentes
adoece
nelas
tecla
neto
consoladam
fornicardes
chegava
fornicando
começasse
conventos
produtiva
chegavam
marcando
refere-se
correntes
luxurioso
produtos
formosos
correntio
produto
coloniais
marcha
queimo
medita
maest
quatre
ciclos
cópia
luzir
emaranhado
duplamente
escaparem
doutrinária
emprega
escudos
exerceu
faltasse
fanático
elvas
doutra
duque
fanico
apresentada
enormement
apropriar-se
aproveitand
engenhoso
episódios
apostasia
engenho
ornamentos
procurando
ociosidade
pragmática
pagam-se
oscilavam
ocasional
ordens
ousais
pratas
oscila
pagai
ouso
pais
vivessem
viúvas
vivaldi
visto
vivia
caricatural
queixos
queluz
fecundíssimo
feed-back
festteggio
fernando
feio
acredita
desaparecid
desacordo
de'molto
deleite
inteiros
161
estereotipad
saltássemos
esterilidade
atrevessem
compatifica
estivermos
napolitano
necessária
penitência
península
pensativas
persuasiva
comilança
salvarem
geradora
compara
roubadas
santiago
compare
sapateia
pedinte
nápoles
concreta
salvá-la
estejam
bigamia
monjas
comova
estética
rosário
pensar
estado
romba
risco
ritmo
tinta
insubordinan
amadurecem
andamentos
analfabetos
indiferente
indignação
inovação
andaimes
injustiças
poderosi
instalado
apêndice
sozinho
ambíguo
podem
inscritas
pompas
spagna
insinua
sonata
veicula
somas
indica
pobre
amen
podia
velas
sons
honra
debilidade
damascos
danação
dando
cronistas
cultura
cruza
dança
culpa
culto
libertinagem
semelhantes
significativa
significativo
sinal
sintéticos
semente
servidor
secções
levados
servem
libreto
se-ihes
seixas
leva-a
lidade
alenxandre
nitidamente
tarda
tamancos
tarimbas
afectivo
tardaria
afectiva
alheio
novas
afiada
nica
maniqueísmo
metaforicam
fundamento
contraditória
manutenção
frequentam
conscienciali
desregrame
consagrava
desrespeito
destinatário
maravilhas
comentário
corriqueiro
mestre-de
freiráticos
conjuntivo
continuam
devaneios
cravistas
recusada
desmaios
criadores
reduzida
desprezo
despejar
mandou
cravísta
cravista
crescem
contrata
controle
deverão
méritos
mestre
manter
manos
desvia
futura
regio
fusão
mesa
crer
frica
fria
favorecendo
expectativa
explica-lhe
explicitação
experiência
escorreitos
explicativa
duram-lhe
esconder
escrito
exibição
escolher
existem
escrevo
dúvidas
extenua
escreva
elogio
existia
fausto
falsa
faça
aproximação
entusiastica
enumeração
pretensão
principe
ouvindo
prazo
querido
quero
quilo
qu'il
florescência
fizera
flatos
achacado
densidade
abertos
abrigo
permanência
estrangeiros
estreitament
aventuras
perseguindo
personifica
estranhar
percussão
percurso
brasileira
perseguir
ausenta
bailado
bisneto
breves
brusca
bolsos
bocas
bach
tipos
influenciado
subordinativ
substitua-as
superlativos
subjectiviza
subordinati
suavíssimo
suspensas
supremas
suplicante
suspiram
sujardes
policiava
súbitos
sugerir
poético
tábuas
tafetás
surge
supõe
status
súbita
populi
ilustrativos
igualdade
ibérica
ignaro
decorreram
defeituosos
dedilhada
declarar
defunto
sensibilidade
limitarem
levarem
liberação
l'heure
senão
simo
ltima
alienação
algarves
notaram
normas
aliena
aliviar
fundadores
devotament
monárquica
rematando
determinar
metrópole
regressar
gasparini
cortesão
religiosa
gennaio
cortejo
garantir
criarão
registos
devoto
regras
ganha
moita
corto
edificador
edificação
elevação
edifica
eis-me
escândalos
esbeltos
escala
preocupava
prenunciava
precisos
fogem
abundância
abundantís
abundam
inusitada
persecutória
transitavam
transitórias
transgredir
benéfica
bendito
balança
toscos
trama
tiver
toca
porquanto
portogallo
implicações
impressões
impresso
impostos
implorar
impõe
deficiente
defesa
serenissimi
alti
relacionado
ministrados
misturavam
misturada
relacionar
reinariam
relembro
mística
crimes
introdutor
italiana
irmões
irmãos
invés
ironia
cadenciados
beliches
beleza
caiba
bens
possuir
criticada
bebedice
beckford
eventual
bebendo
evocada
camas
canónica
exagerar
capaz
capar
captar
exclamativo
excelência
excelente
cantora
capital
cantar
tendo-nos
tentativas
atentament
atinge-se
varandim
trocaram
utilização
valores
valério
trouxe
ubaldo
usado
vales
castelo
harmonizand
harmoniza
herdeiro
ridicularizam
ribamar
tem-se
terzi
próprias
esparvados
espalhar
espécies
articulados
assembleia
assassina
atenções
assis
universidad
trezentos
tribunal
vastas
onofre
olhou
catadura
catacego
cenários
sacrifícios
hipotipose
hipérbato
gravura
lembrando
lavatórios
laterais
lendária
lascado
latina
vestidos
vicente
vestem
virgem
vírgula
viram
vier
retalho
rezas
parou
solo
objectividad
numerosas
obrigação
observar
objectiva
temíveis
observa
proporções
progrediam
publicados
prosódico
profissão
profere
púlpito
claros
espontaneid
esmagado
esgotar
arquitectóni
arquitectos
entanto
aspereza
entende
aresta
aspira
operário
oitenta
voltadas
zacarias
cerimónia
cepticismos
cerirnónias
chagados
centram
católico
cerejas
centra
celas
carvão
carro
rapidamente
rectaguarda
rectângulo
recrutada
reclama
rapação
rasto
recta
desconheça
descalços
desejava
descrito
aderiu
conheceram
sacerdócio
compridas
conforme
conhecem
gramática
sagradas
sabe-se
confirma
glorioso
sagrar
giusti
rufino
ruins
gozo
pias
lembrados
léguas
légua
lama
leia
justificaram
vilipendiada
justifica
anónimos
judaísmo
animado
labirinto
ver-se
judeu
juvino
verde
disciplinas
direita
direito
revisitação
respeitar
reunindo
resolve
curva
soberaname
situamos
smith
técnicas
tema
nudez
conversação
protagoniza
purificam-se
provavelme
quantidade
quadrados
científicas
materiais
quarenta
colocasse
cinzento
macau
quadro
choram
cisma
clara
pura
encarregado
dramaturgo
encieirados
escuros
encontrou-o
entortar-se
arbitrária
entra
tratamento
orientador
procurou
travado
oração
página
oral
vocabulário
carlas
quitério
ficamos
feitos
acumulação
designação
deixemos
actos
intencionalm
interessou
condenados
complexidad
mostrassem
comporta-se
monumental
naturalment
perfeitamen
salienta-se
pertinentes
morremos
músico
roupinha
estilístico
nacionais
morrido
perecível
nascida
montes
conclua
geraldo
motivo
morto
nasci
naus
ventura
inconsciente
lacrimejante
independent
juntamente
indiscretas
vermelhas
sonhando
vergonha
individual
ladeada
infalível
poderia
pisado
andou
apelo
pires
jorra
documentos
disponíveis
distinções
dizemos
distrair
ditados
ditado
repressão
retórico
crornatismo
crueldade
cumprida
dade
passagens
passarinhos
significação
passaram
parecem
passar
pediam
seguem
pátios
pedia
passo
sarar
sátira
parar
alcino
adolescente
aerostáticos
aerostáticas
admissível
negócios
nocturnos
afirmado
negros
afirma
tecido
recuperando
desmistifican
673
marcadamen
desigualdad
recuperação
despachem
considerada
comecemos
chegassem
constantem
melancolia
mecânicas
prodigioso
formaram
marcolino
refeitório
conhecida
reflexiva
formálio
controlo
medem
reflectir
medida
correu
forem
lucília
meia
escrevemos
elucidativas
escultores
embainhar
exemplos
fachada
escritos
escola
dupla
dura
exibe
falar¬lhes
falando
emente
faleceu
falas
equipament
entrelaçand
engenhosa
aproveitar
enfeitadas
aquecidos
envolviam
entrarem
envolvido
ocorrência
praticament
ocorrido
ouvirmos
ocorreu
ordenou
prado
visualismo
visualizar
visíveis
visuais
viveza
querer
quinto
feridos
dependência
denunciando
demoradam
demiúrgica
delicados
depende
abolição
acolhe
acho
interpretada
interpretam
comparado
sangravam
estivessem
perguntar
atribulada
ausentes
romanos
perderão
romano
pensam
rocaille
estarão
pensa
pensou
naquilo
autos
rítmico
aturar
típica
ritual
rosa
ingenuidade
podíamos
subterfúgio
subtileza
anástrofe
andamos
aplicadas
apontado
aplica-se
suceder
inscrito
veículos
andada
plantas
ambas
infringe
apoiou
pluvial
amito
ponte
talho
imorredoira
humildade
imaginado
imortais
hospital
idades
horácio
imita
culminanted
degredada
daniel
segurando
levantaram
senhora
segunda
seminário
síntese
alheias
alegre
nomeados
notações
nicanor
noutro
tampo
crescimento
metatextuali
manipulando
contingência
metatextuai
controlando
maneta
contenção
metáforas
funerária
cotovelos
frederico
continuar
contando
dignidade
cozinhas
metáfora
mão-de
costuras
deve-se
mestres
cosmos
contém
regista
deu-lhe
meses
gaiolas
costas
destrói
frásica
contas
manh
frase
frio
escovam-se
expõe
expo
elíptica
dúvida
ecoa
ermo
privacidade
príncipes
pretendia
presume
pretenso
previsto
questionar
questões
focinhos
fluente
firmino
fomos
fontes
fluido
fitas
fixo
acentua-se
acesso
abside
perseguiçõe
transportar
braço
topografia
tornam-se
toponímia
brilhantes
transgride
torreões
bisonhos
torná-los
brasílica
bruxedo
bruxaria
bulletin
brancos
topada
tiranos
tirania
perna
topos
brilha
burro
aves
baía
brás
azul
pormenoriza
supliciados
surpreendid
influências
portaria
subiu
subir
sumir
suave
tadeu
surre
humores
ilimitada
ilusão
ii.o
definitivame
decorativa
deduz-se
definindo
dedo
localizações
sensações
sentenças
limitações
seria
louvado
lombos
limites
loggia
loucos
lógica
longe
série
lindo
alusão
alista
normativa
reinterpreta
modificando
mobilização
consulte-os
dezassete
mimetismo
modestas
modelos
diegético
diárias
modos
diálogo
cria-se
genial
regra
edifícios
egipto
efeito
egas
escadaria
esboços
precursoras
pregados
prega
acabámos
acabarão
acaba
inventando
inventadas
inverosímil
irrompem
inventou
inventos
isabel
isidro
transposição
transportou
tivéssemos
bernardes
biblioteca
transepto
benções
trajectos
cabeças
tivesse
trabalhe
total
bibl
posso
impressão
implumes
impor
serra
alternando
altares
mistificação
relacionem
relações
minudente
misturam
minorcas
miserável
relatados
cristóvão
jaime
bassílica
bastaria
batalha
bastava
evitar
caladas
caída
bela
posteriorme
postas
jesus
jesuíta
europeizant
exactament
caminhos
caminhar
canários
camisas
canónico
cânones
capelas
cantam
tinham
tendo-lhes
tendo-se
terminou
terceira
assume
atreve
variadas
variada
varas
urna
usar
chegada
charneira
castiços
há-de
havia
herói
ribatejo
temporalida
propunha
prosa
específicos
especial
espada
assinalável
unilinearmen
uníssono
unilinear
trémulo
triste
voyage
recebendo
adivinham
comunista
gravita
gritado
antecipadam
lembrança
antecipação
l'escampett
aparecem
lanzarote
apalpais
vigiando
vigentes
vindo
revolucionári
rezar
soldado
participou
profundidad
proximidade
prosseguir
publicação
provérbios
coexistem
clubes
claro
pulso
esforço
opinião
volta
xvii
cerâmica
célebres
carreira
césar
recreativos
raramente
recobrada
ficou
desempenh
desengana
pífaro
confrontado
municipal
mostram
mudança
conheci
saberás
rumo
narre
goleg
rufa
apareciment
verificando
indivíduos
iniciativas
verificada
vereador
angola
sonhe
verbal
discípula
dinheiros
directas
director
retrospectiv
reveste-se
revistas
residir
panorama
pálpebras
partidária
parideira
pataca
técnico
agita
profanação
qualidade
conversas
referidos
colocado
reflecte
colagem
marvila
referido
cidadão
empregando
encarnação
encaixa
dual
enquadrame
encontre
enredo
organização
orientação
travessão
ocupando
oralidade
oscilação
vivos
caridade
feições
festas
filipes
activamente
designado
deícticos
interioridade
intenções
intenção
interessa
interior
perfeito
penetra
santo
companhia
estagnação
mostrou-se
estiveram
narratário
concluído
salientar
nalguns
movida
roubar
ndole
injustiça
independênc
andamento
incontornáv
podendo
indirecto
inclusive
instalou
infeliz
amplo
pior
pôde
sono
distinguiu-se
distorções
humana
repenicar
repenica
reprime
cumplicidade
debandada
dama
dado
cruz
saramaguian
segredos
serralheiro
137
situadas
saúde
países
siécle
seara
leva
68
afastamento
afrancesado
aforismos
adormeça
noviciado
alcançar
afastado
nobres
novena
devagarinho
comentários
maravilhoso
desvirtuado
reelaborada
frequência
reflectir-se
frequentou
consolidar
cravo
convidado
conseguiu
mecânico
mediador
convivem
destinado
comendo
reescrita
colóquios
começos
mereceu
membro
regimes
mereça
destino
desliza
formal
mbito
luta
falassem
escritor
facção
falo
enganada
potugaise
principais
ocorrem
padeiro
quiseram
queres
quiser
flash-back
denegriam
abertura
abdique
acordo
aberto
abono
interrogaçõe
interjectivos
perda
estivéssemo
estraçalhad
aventurado
estranharía
biográfica
estranhou
narração
inferioridade
poranalepse
suplemento
pontuação
influência
polifónico
aponta
vejamos
inferno
superar
plural
imaginação
identidade
ideais
dedicar-se
cruzam
declara
simbolicame
simpósios
simétrico
sectores
ligadas
levava
alienando-se
tamborilar
notação
noutros
tambor
notou
religiosos
controladora
fundamentai
funcionalme
dificuldades
construída
religiosas
detrimento
contam-se
constituind
repare-se
criar
devoções
militância
cortarem
remédio
milhares
contada
milhões
mónica
contem
devota
criado
forte
milho
conte
económicas
expressivos
eliminação
erecção
preces
pretérito
força
abrem
intervenient
intervir
bordeaux
permite-nos
permitindo
tornou-se
azinhaga
torreão
baixo
bala
suspeita
porqu
implicação
imperfeito
ilha
defendido
definição
sentimos
literárias
lisboeta
seres
lubrido
lóios
genericamen
reinante
moços
efemérides
educação
editions
predomínio
prémios
prefira
acabada
acabam
irreversível
intrínseca
invocada
tradicionalist
bênção
traduzida
estúdios
tradutor
littérature
câmara
caixa
eventualme
evento
beira
posterior
criticam-se
exclusivame
exaltavam
cantores
exaltava
teológico
teorizar
tentar
tentou
atitude
ateus
utilitaristas
u-se
ridiculariza
termo
teses
assumindo
artes
tríade
variar
habitual
anti-épico
laudatório
lendas
vieira
ressaltam
temores
propõe-se
arrastados
arrancar
assados
arma
volumes
wolff
católicas
centro
rectângulos
realização
radicalizou
rebela-se
rectificar
realismo
raízes
descendent
comunicante
comprometid
sacralisado
conhece
concede
graças
graça
lançando-se
vila
anonimato
verdadeira
anónima
vertente
leito
responde
parodísticas
panfletário
parodiar
temático
matematicist
massa
clarividência
pública
punhado
colectivo
colectiva
proveito
provém
essencialme
enciclopedis
estabelecer
encontrou
opta
vocação
reconstruído
r6sseau
ficcionista
fidelidade
filinto
acusaram
desgraça
deístas
monumentos
montesquieu
confidencia
mostraram
conceitos
condillac
conciliar
sair
nasceu
individualme
individualiz
julgamento
verificação
laicização
indústria
verificou
lacunas
inicial
anes
laia
discordância
dominantes
domingos
divulgador
dinâmica
dinheiro
divulgar
divina
residentes
resgatar
repúdio
cumprimento
d?alembert
custódia
significações
sarcástico
paráfrase
patriarca
pássaro
newtonismo
necessitado
admite
materialism
dessacraliza
regeneração
corredores
considerado
correlação
reflectem
coordenar
converteu
correndo
ludovice
correia
familiares
elucidativo
empirismo
esclarece
empenho
emendar
exército
emenda
enfim
envolvem
enraizado
enorme
equipa
procuraram
ocorrendo
proclamou
ocupado
paciência
ordenado
caracterizan
filosoficame
filosófico
filtragem
festa
filósofos
acrescentar
democracia
deparavam
derradeira
degredo
dele
derrisão
abade
134
intelectuais
inteligente
comparaçõe
autobiografi
pertencem
perspicácia
pertencia
roubados
atribuía
típicos
santos
pense
narrar
insatisfação
velho
infundados
anastácio
inserindo
ampliar
infelizes
veio
planta
inglesa
venho
inglês
imaginando
hume
sedução
significativas
sistemático
seleccionar
serventia
sinais
satisfaz
sintaxe
sistema
lido
novembro
adquirindo
nicolau
afastar
tarde
nobre
alem
nível
reduplicação
consagrados
contemplado
desrespeita
devastadora
conotações
constitucion
consagra
metafísica
crescente
fundidos
criadora
destinos
detalhes
freiras
desses
frade
deve
dilui
el-rei
experiências
explicitamen
escravizar
escreveu
far-se
duvida
elísio
pretendiam
princesa
primeiras
fizeram
abrange
abriu
perceber
pequeno
autores
bocage
estou
estática
informa-me
pormenores
substâncias
população
superstição
sustentam
suscitando
subjectiva
populistas
stuart
identificando
humilhados
ideológicas
iluministas
ideológica
ideologia
ilustrado
humor
declara-se
declarou
sensualismo
sentimentali
sensação
levou
limita
locke
notícias
alismo
construtora
construtor
ganhar
devíeis
mill
económico
eruditos
erguer
acabar
invenções
inúmeras
invento
tolentino
tomos
possibilitou
possível
cristianismo
criativo
diderot
relata
preencher
irreversibilid
irreverente
irónico
barrocos
evidenteme
tradições
bentham
etapa
camões
evocados
evolução
europeu
criticar
exclusiva
trouxeram
validando
utreque
usarem
utilizar
unda
hereges
testemunho
território
terreno
espanhol
arte
assumiu
trinta
vastíssimo
vasta
voto
casou
sadismo
saem
vidente
restituição
restituiu
objecto
obedecer
clima
coelho
esqueçamos
espaciais
esposas
arrábidos
aristocracia
aspecto
ofício
xavier
vultos
cerimonioso
cartografia
chamada
casas
reconhecime
receita
recuar
descendo
governação
sabem
moradores
concedido
conflitual
guardar
conflitos
comum
gostam
antagonismo
aparecerem
justiçar
diplomatas
resolutivas
resultados
resolução
retratos
solucionada
soberano
solicitá-las
sodomia
sofia
paris
teimosas
técnicos
agitada
qualificáveis
públicos
coincidir
quarto
ciência
citação
matar
prova
cidade
cheio
cito
dramática
entende-se
opressora
oprimida
odivelas
originais
opostas
recorrente
fidelíssimos
feiticeiros
figura
ficar
ficarem
filipe
deixando
desfecho
açúcar
intensifica
monumento
compositor
completa
movimenta
complexa
conduz
confiança
conferida
movidas
péssima
conferir
pesado
nasce
saindo
estilo
mota
ruas
verosimilhan
aparenteme
incremento
juntando-se
laffont/jupi
verosímeis
instituição
indústrias
injunção
incúrias
iniciada
jornal
dinastia
dispendiosas
disfarçam
dispendiosís
dominação
dissipadas
dissipação
dividiram
domínios
diversos
domingo
disputa
ditions
reprimida
reptizar
cunho
passados
passíveis
sexualidade
situado
palhav
parto
negativas
negativa
negativo
neuburg
consolidação
comandadas
consentimen
correntemen
considerava
marginaliza
reflectiu-se
contumazes
referência
conservou
formação
produção
medíocre
conselho
convictas
formas
meninos
reforma
lustrado
magia
dessas
madre
matriz
meios
má-f
empenhado
exercício
facções
escapar
facetas
do-se
duplo
engenharia
apreciada
episódio
engloba
23
povoamento
proclamado
ostentação
potências
obtidos
167
praças
110
trata
83
vitoriosa
quis
denunciar
desacertada
derrame
desafio
morte
santas
típicas
rituais
narra
roque
típico
insurreição
inglaterra
amazónia
ambíguas
analepses
aplicados
poderoso
plásticas
andando
soube
vejo
spera
venda
pleno
apoio
imitar
cuidado
dá-nos
debatido
seiscentos
sintáctica
serviços
libertino
secular
simas
advérbio
aliança
nomeia
alegria
advém
alerta
francamente
futuro"como
desprovidos
destacaram
fundamental
constituem
corrupções
destaca-se
despejando
fortalecida
dignidades
diligências
corrupção
contraste
gerações
contribui
renitente
contínua
constata
fradaria
futuras
costa
eclesiásticas
favorecidas
exprimindo
favorecidos
económica
favoráveis
expressas
expoente
fazenda
falso
entusiasmo
erário
prepotência
precedentes
preciosas
prestígio
questão
flores
firmada
firmeza
acelerarem
intervenção
personalidad
percebermo
persistentes
bragança
brasileiro
azinheira
subordinada
sumptuárias
sucessivas
symboles
sujeito
impiedades
decurso
de-f
literalmente
lisboetas
moderniza
fulminante
generaliza
molinismo
releva-se
dezasseis
modelo
editora/nom
eduardo
edições
absolutismo
absolutista
acabou
invalida
transfigura
baltasarlblim
beneficiada
cabeça
transição
bertrand
touradas
barroca
bere
positivos
positivo
importantes
imprópria
importa
serem
alterarem
altos
criteriosame
relativament
reincidentes
dictionnaire
miuçalhas
relaxadas
ministro
relapsas
mínimo
cristãos
relatos
prejudicada
inverterem
invulgares
janeiro
irão
bastos
potencialme
potencial
campanha
europeias
capacidades
canto
tico
vaidade
turísticos
varanda
heterodieg
haveria
heresia
antítese
código
específica
espanhola
arrobas
centímetros
rainha
gratuitamen
sacramento
gravidez
sacrificial
gulbenkian
guias
guas
saga
lavrada
largura
anjos
vindas
revolução
resulta
resto
solidariedad
paroquial
obrigando
números
proferido
marquês
esquecem
espessura
ensaios
recolher
desempenha
desenvolveu
descreve
descrição
narratologia
gheerbrant
moral
lembra
judeus
júdice
laje
dizem
diremos
passemos
paula
materializad
materializar
conventual
material
colecção
fama
doze
encontrarão
entram
ordem
cardeal
ferros
actualmente
activação
deram
delas
comportame
sapiência
nascidos
complexo
peso
instrumento
instauração
inscrevem
anacronias
pobres
sonatas
vendo
instituída
velhas
velhos
pocas
139
155
182
disto
daqueles
seguintes
passa
afirmar
ajoelhai
nesses
alcance
alain
conseguiram
frequentem
redentora
redondos
considera
mandado
frequente
reflexão
lugares
corrigir
constam
frente
dever
fácil
aqueduto
enunciado
visitantes
quinze
quilos
achado
rmos
informativos
populares
polida
supor
imaterial
imolados
humildes
imolado
idade
ideias
senhoras
sena
liberdade
levaram
símbolo
singular
notáveis
norma
aliar
determinado
manifesta
genologia
fundação
garras
fuga
elevam
expresso
ermitão
princípios
forçado
foco
acaso
benedictione
transgress
transportara
toneladas
transpor
perpassa
permitida
buscar
tomar
tomou
tome
pêro
tirar
porto
imposto
definida
sequências
seriam
sérgio
almedina
mobilizada
modalidade
diamantes
diegética
dias
reler
diário
crist
acabarem
estudos
cabia
bento
traços
porventura
possui
livres
relato
calouste
terem
associando
atenta
rias
propostas
específicas
realizado
gostaríamos
largas
nuno
obras
coimbra
colegas
público
entender
fichas
desenvolve
compreende
confrontamo
completem
confronto
musicais
iniciarem
versão
apelam
donde
divisão
pautámos
partilhem
papel
situam
materialidad
considerámo
queimaram
formativas
exercícios
arames
tratado
acto
interessara
pertinente
pensando
pegarem
pereira
76
97
50
109
17
67
12
149
188
incluímos
incluir
humanidade
representad
repente
cronológico
sete-luas
sete
pedimos
noviços
alargar
convidamos
destinamos
recursos
desta
redacção
deslindar
frades
convite
fundo
escritores
extensiva
facultar
entretanto
principal
financeiros
deliberadam
permitam
autoras
auxiliar
robert
sucessão
substituída
sugerimos
inserem
horizontes
simplesment
senhores
lexicoteca
funcionamen
contextualiz
difícil
cria
erros
pretendemo
inúmeros
torno
possa
linguagem
sentir
linhas
linha
aluno
relação
criatividade
introdut
livraria
evasão
bastardos
textualizar
tenham
terão
teoria
chão
rigorosa
testemunha
vazio
chamar
hão-de
h~tória
restaura
professora
cinco
entendê-las
enterrada
trazer
xito
catorze
cérebro
reconstituíd
fictícias
comprimento
confundem
conceição
confronte
global
vimes
vimos
diríamos
reviver
custa
particularme
telheiro
colaboração
referimos
referir-se
coisa
ptica
traz
viver
r0is
fielmente
deixou
acusar
completame
pessoa
saíram-lhe
morreram
salientes
morrer
move-se
sala
gerando
compor
pessoal
pesos
gerou
instituições
pitoresco
ventre
jorge
distanciame
diverso
ditas
daquelas
passadista
sete-sois
administrativ
ajuda
tecer
referencialid
constante
melhor
mergulhar
meio
margem
contudo
madrid
formada
convoca
recurso
refere
forno
61
125
128
escaparam
fantástico
obviamente
procurado
caracterizad
filtrar
abandona
desafia
acima
deles
inteiramente
comparação
estanque
audição
estar
políticos
poesia
horizonte
imaginar
cruzadas
levantemos
senhor
levantou
semana
lidos
afastar-se
notável
note-se
noutra
nico
nora
conjunto
funções
existência
questiona
fingi-las
fingindo
abrindo
brechtiana
bonito
estreme
torna
impede-nos
defendida
sentimental
sentar-se
sensível
língua
metro
mina
academia
intromissões
transcreve
portuguesas
posições
importante
mistura
jeito
criticamente
tenha
valorização
trono
terra
omnisciência
vozes
mármores
publicada
espiritual
voltaire
racionalismo
recolhidas
desenvolvim
grandes
conflito
correspond
colónia
ciências
endo
fica
actividades
esteve
sarl
talvez
necessidade
administra
131
77
consciência
destes
reflexivo
meados
dessa
faremos
falam
fábrica
ausência
estrangeiro
inserida
simples
alfa
crescer
galeria
contexto
problematiza
forças
sentimento
sentidos
alma
introduzido
possibilidade
portugueses
livre
relatar
capacidade
anteriores
prolepses
clero
realeza
glória
claramente
cinquenta
referir
círculo
ensino
geralmente
mosteiro
perto
revela
cunha
paralepse
partiram
partido
marginalizad
memória
consiste
maior
oscar
característic
85
699
39
30
companheiro
estando
culturais
secundário
levantar
contempor
francesa
falsas
externa
processo
estrangeirad
pequena
brechas
ignorância
ideia
intuito
trabalhador
estrutura
baptista
excêntricos
ricardo
ribeiro
artísticos
lembremos
lermos
anterior
objectivos
profundo
classe
oito
cento
realmente
mulher
conhecedor
grandeza
saber
leitores
aparecer
verdades
restrição
solicitando
proustiana
chevalier
profecia
entos
quixote
descodifica
conduzindo
sonhos
junho
lello
distanciada
discursivas
dons
debaixo
passando
consignados
memoráveis
marcada
marcado
colóquio
maio
emoldura
aquilino
pragmáticas
190
18
27
45
15
abolidas
deriva
interesse
estava
romarigães
incidências
indicativo
indicador
analepse
anda
semânticas
simultânea
sessenta
seguir
signo
constrangim
rememorado
rememora
comerciais
determina
religioso
destaque
destacar
destaca
gente
durante
exploração
explicaremo
explicar
factor
enuncia
pressupõem
procediment
pressupor
acedeu
abril
subsequent
informação
ilustre
i.o
normalment
esboçam
premonições
tolstoi
literários
serão
jean
captam
tendo
riquezas
asas
vontade
razão
lembrar
vidas
sofrimento
partes
carne
descoberta
direcção
retrato
curso
paulo
original
ouro
carga
aconteceu
planos
disseram
48
daqui
críticos
situação
medidas
desse
luís
popular
nomeadame
informações
crítica
capela
haver
temos
espírito
entidade
conceito
apresenta
quisesse
filosofia
ficam
pedras
rossio
natural
175
36
62
92
poderiam
andar
existe
escrever
falta
interpreta
autoridade
imagem
levar
aliás
moniz
frases
portanto
localização
espanha
letra
propomos
prolepse
oficial
chama
desenvolver
kaufman
feito
competência
nacional
domínio
novo
mecanismos
consequênci
160
86
viveu
auto
ponto
liberta
lição
levam
consegue
régio
contrário
digamos
fazem
prazer
período
longo
moderna
religião
minas
chegam
temática
circunstânci
enciclopédia
narrativas
concluir
inquisição
176
113
675
736
lugar
abordagem
narrados
santa
político
libertadora
criação
físicos
acedemos
permanece
conta
eleva
europa
atraída
assistir
espécie
onze
rebuscada
realista
adjectivação
comungamo
antagonista
aparece-nos
vértice
revolta
citámos
trazê-los
celebração
recorrência
recolha
fictícios
deixa
condicionalis
pessoas
verificar
distancia-se
dista
reside
paredes
fornecidos
fornecer
coroa
duas
emprego
integrados
naturalidade
mortes
gerais
151
127
20
29
47
146
podemos
inferimos
infantes
representa
cronológicas
cultural
sirva
alcança
nesse
nessa
despreocup
desmandos
consciente
detalhe
remete
destas
exorcizadas
elucidação
expressa
enumeraçõe
práticas
interna
ausente
sumptuosida
sublinham
substituir
imortalizado
imagético
monarca
registo
pretende
problema
privilegia
pretexto
perpetradas
transmudad
permitiu
longas
minimizou
didáctica
irónica
tradição
estudo
traduz
postura
evoca
exactidão
124
685
56
65
89
atesta
ultrapassam
projecção
espelho
universal
adiante
opiniões
carlos
mostrar
nascer
veracidade
josefa
retratado
procura
integrar
anacronismo
simultaneam
semelhante
seguinte
serve
seis
contar
mero
eram
dedicado
simbólico
diferente
ação
campo
joão 677
textualizand
teve
assistiu
hesitar
testemunhal
clássicos
cláudio
específico
omitiu
sobressair
profético
esquece
oficiais
recriam
mundivivênci
revisitar
coisas
conversão
quase
filhos
deixar
integralment
integração
compêndios
pistas
indexar-se
indirecta
insiste
cronológica
cumpre
669
33
140
51
718
agustina
neles
ngulo
referenciam
referencia
manuais
ludíbrio
reflexo
exibem-se
exterior
aqui
principalmen
ocorridos
quiserem
denuncia
autenticidad
autónomo
rnítico
superação
imaginário
nomear
genológica
contemplam
contamina
metatexto
constitui
gabriela
frança
precisas
questionam
fingidas
acentuam
tornar-se
impossível
iluminista
literariedade
literária
lirismo
lírica
modificado
construtores
absoluto
cadeia
bessa-luís
llansol
crítico
herculano
vamos
letras
espaços
olhar
reconhece
narrativo
mortos
dizendo
datas
parece
neidade
o-se
82
26
representan
serviço
situa
mãos
contempora
duzentos
presbítero
dentro
surpreenden
nota
metros
dicionário
eurico
posto
omnisciente
publicações
publicado
radical
leitor
respeito
coincidência
mário
esqueceu
inicialmente
marca
emprenhou
103
695
158
104
706
pensado
amor
leva-nos
nova
criando
imagens
momento
preocupa
invenção
altura
itálico
ustria
encontra
mulheres
revista
chegou
intemporalid
integrando
107
173
80
98
representar
scar
forma
mente
emergir
aproxima
política
idem
costumes
corte
entrevista
fora
alunos
caminho
espera
movimento
confia
reuniões
quatro
atribui
112
166
74
101
secretas
futuro
reescrever
processos
porém
sugerida
imaterialidad
momentos
fronteiras
português
reino
evidente
postos
posição
eventos
historiador
casa
reconstitui
coloca
oprimidos
passada
exemplo
país
autonomia
apesar
determinada
títulos
alteram
evidencia
tinha
objectivo
início
marta
entrada
dela
palavras
116
análise
séculos
nomes
sentido
reinado
alteração
através
vinte
24
59
manuel
teria
antónio
históricas
verdadeiras
palmos
passam
novos
nela
115
35
191
século
alexandre
iluminismo
editorial
privilegiada
eterno
excerto
gosto
aspectos
partir
41
136
732
significado
livros
temporal
histórias
construíram
barroco
xviii
tratar
ficcionais
natureza
dizer
discursiva
dada
referências
referencial
memórias
118
106
38
encontrar
apontar
694
factos
permitem
transcendên
portuguesa
verdadeiros
plano
nele
148
184
185
701
falar
estatuto
libertação
brasil
vezes
categoria
reconstru
figuras
enquanto
667
169
79
693
ambientes
apenas
quinhentos
sujeitas
notar
devido
diante
adeus
historiográfi
kaufrnan
social
quer
32
164
metaficção
ibidem
então
quadros
acompanhar
geral
andava
instância
133
91
671
43
mentira
tradicional
literatura
três
vontades
justamente
marcas
estamos
escreve
libertar-se
fazendo
importância
ultrapassa
entrar
povo
668
170
vista
tipo
fizemos
próprio
nunca
ficcional
movendo-se
dimensões
163
engrandece
biografia
nome
além
precisament
reis
temporais
tempos
próprios
universo
intemporal
143
textual
ultrapassar
corresponde
666
730
pensamento
igreja
termos
classificação
157
perspectiva
tipológica
trabalho
assim
ente
731
dimensão
deste
sempre
implica
textos
172
58
95
heróis
sido
122
gusmão
agora
maria 674lisboa
integra
literário
realidade
130
100
contam
sobretudo
703
helena
casos
fala
sendo
94 53
personagem
lopes
olhos
cerdeira
grande
70 178
73
42
atenção
data
702
727
explica
focalização
alteridade
670
silva
romances
própria
11187
diferentes
função
44
119
poca
181 739
179
seixo
alzira
visão
carácter
729
embora
teresa
autor
históricos
88
dois
708
734
maneira
elementos
lado
presença
cristina
hoje
género
717
portugal
modo
livro
acontece
seja
narrado
724 44 64
vida
723
14
737
acontecimen
acção
permite
697
caso
705145
700 real
escrita
poder
personagen
histórica
735
pode
homem
mundo
121 726
leitura
homens
facto
733
fictício
728
narrativa
67241
154
verdade
ficção
40
46
anos
histórico
neste
espaço
ainda
696
142
discurso
título
707
passado
683
740
obratambém
passarola
712
725
0.0
682
738
convento
39
722
664
704
presente
texto
665
saramago
narrador
714
45
661
662
tempo
memorial
romance
38
-10.0
história
721
663
-20.0
-10.0
0.0
Figura 3.9.4.4. Espaço semântico relativo ao Memorial do Convento de José Saramago e as
projeções dos textos das 120 respostas à A) e à B). 141 Recorde-se que a matriz de frequências analisada – X (n, p) – tem n= 5012 linhas
(palavras) e p= 88. Ver 3.9.1.
Na figura 3.9.4.5. vê-se a mesma informação mas relativa apenas a uma zona
limitada do gráfico anterior, obtida fazendo uso do programa PAET. Nela se podem ver,
com maior nitidez, as posições relativas da AT (vetores a negro) e da amostra de teste T (a
verde) – para lá das palavras e textos do ES (a azul e vermelho)..
711
conheciment
monte
partida
viagem
voar
trabalhoscasal
junto
684
688
nascimento
pedreira
vela
sete-sóis
infanta
holanda
regresso
tomamos
assistimos
descreve-se
acompanha
doença
bárbara promessa
encontro
sebastião
decisão
final
venha
infante
roma
690
689
1.0
scarlatti
depois
basílica
parteprimeiros
feita
trabalhar
voador
vemos
678
716
deus
desaparecim
676
arder
disse
estabelece
príncipe
altar
mandar
seguindo
milagres
sujeitos
janela
tenho
alentejo
sagração
vergas
teja
tourada
toma
conclusão
agricultores
venderem
assiste-se
aniversário
sobrinho
terras
sádico
estragos
boeiro
pontaria
haveremos
fala-se
expropria
recomeçam
convida
marinheiros
paçosabe
revelação
obrigados
ocorre
miséria
poderes
funerais
gastos
descida
amarela
conseguidos
constrói
região
corrupio
incêndio
cólera
relacionamo
espingardea
quinta
empoleirado
frustração
jornada
envolviment
epidemia
apara
suicídio
faz-se
febre
crianças
discretamen
religiosidade
mateus
esmagament
aumentar
barcos
entretenime
entretém
damo-nos
dá-se
cura
contrabalan
científicos
reparar
réplica
participar
beirinha
informados
informar
informal
conta-se
benediction
capítulos
provar
edificar
degradação
reiteração
esquerda
inquietação
miniatura
procissão
reais
vento
visitas
começa
chuva
dirige
primeiro
alague
tranglomang
falte
inaugurar
solou
neve
baptizado
caia
cunhado
sopre
toledo
terreiro
inauguração
extrema
igrejas
contacto
visita
pero
pobreza
segundo
setecentos
passagem
fogueira
torna-se
breve
revelar
jerez
caballeros
domenicochegar
alto
filha
família
somos
tentativa
ambiente
transporte
fosse
sonho
caracteriza
sabemos
ento
710
casamento
jogo
notícia
corpo
professor
diferença
milagre
participa
concretiza
oposição
voadora
abre
pinheiro
franciscanos outubro
irmão
atravessa
escolha
primeira
origem
palácio
encontramo
riqueza
fazer
estão
marques
687
nesta
projecto
691
segredo
inicia
679 alquímico
palavra
680
auto-de-f
perdeu
respondeu
lemos
filho
busca
medo
715
diversas
nuvem
681
ganchopergunta
voaram
excessoferro
suspeição
união
libertar
construir
vime
conjugação
simbologia
tens
estrada
719
balões
totalidade
elemento
sentou-se
majestade
porta
ouvir
materializa
mora
verei
tendo-lhe
voado
intercessão
acomodasse
acolhido
voei
viveram
voou
cerca
chamam
valido
tropeça
fidalgo
firmes
antigos
honestamen
honorífico
corre
ardeu
ouvido
trazem
troça
pudesses
obrigações
poderemos
efectivo
saiba
gabar
custo
conseguir
constru
cresceram
esperanças
espiar
estarei
frequenta
frotas
séquito
favores
impertinente
distrai
responder
lembrar-se
junte
esferas
noite
indulgência
reparou
reparo
patriarcas
benévolo
preparativos
tornou
sóis
seguem-se
perguntou
peregrina
universellem
braços
causa
número
lutar
juntos
spirituel
retirou
capelão
testamento
abre-os
encontros
secretos
flor
desmanchar
queira
queima
iuris
bairro
orador
ordre
preparar
vieram
atravessava
tipicamente
terre
celeste
aproximava
aspirou
estranhasse
dieu
intellectuel
acontecera
synthétise
abóbada
harmonia
gritou
grito
vivant
vinda
sacro
fondamental
interiorment
conjonction
exercitar
l'union
reina
colher
tri-unit
passaria
ensaiar
ciel
dogmas
l'homme
entardecia
profundame
produit
setecentista
sermões
criador
impede
clamar
representam
retórica
résulte
l'être
pátio
declamações
subitamente
contemplou
luminosa
inquieto
perca
morre
comunicada
tempestade
unidade
difamações
vim-te
estivesse
obrigam-no
podes
dezanove
692
sobe
colaborador
houve
fugido
intrigas
diz-se
leia-se
quiseres
escarlate
nombre
louco
guerra
chamas
códigos
ndia
21
sequer
fechada
pano
luas
auto-de
instituído
conciliar-se
tocarei
etapas
pontos
ternária
unir-se
trois
misterioso
perturbar
plenitude
físico
enfadar
cardeais
constituída
sente
fases
dores
essência
estações
trarei
remetem
lembre-se
lembrarei
juntar
serviu
simbolizando
símbolos
deificação
preconceitos
alcunha
alastrado
pôs-se
vendados
veículo
vê-la
atirou-o
conduzido
comparada
condição
saberias
teriam
transgressiv
trio
secretament
fraco
feitas
finge
fogo
deitando-lhe
suspeitarmo
enganado
enfrentam
violência
constroem
refugiarem
archote
combina
cobertura
humano
conivência
esconde
estalava
querem
puxou-o
salto
fugir
destrui-la
deixavam
enlouquecer
apagar
sentimentos
construído
dominado
dissemos
liberta-o
liberte
mato
barba
batia
base
calcou
apertou
clarão
renegar
resistia
inflamado
pegava
insuperável
permanecer
tecto
destacam
fingimento
violento
escondido
víamos
oprimido
totalit
chega
primavera
precisam
precisa
pretendem
viéssemos
veteram
ontológica
opera
tempera
alegrias
tornaram
tiveram
tornei
tornando
trabalham
praça
astros
ombros
mofo
inverno
tenaz
agarrarem
afirmativas
voarás
testa
cegos
vejam
vêem
assente
complement
comparando
universum
usamos
universi
usboa
eternidade
estudante
olhava
miticamente
pontificum
iríamos
acusações
abre-lhe
tapado
abençoado
aliadas
andorinha
golpe
guardava
sobra
voltas
vivem
carregada
malho
cristianizado
vale
apresentand
aproveitava
completar
oxal
rugas
rubro
sabedoria
ruína
exemplar
exceder
exaltar
brancas
pescoço
plena
sejam
selar
ecclesiastici
encontrados
eclipses
ganhando
fortes
forja
feminina
desferindo
descaem
desce
encorreado
enferrujam
acabasse
aceitas
amarelo
anti-poder
ambígua
hebraica
sobejavam
violentamen
consclencia
existir
recentiorum
regressava
recolheu
regaço
cortam
cortado
corta
arca
cobrem-se
coetera
cheia
cobrindo
comida
hóstia
julgaríamos
esperávamo
esclarecida
esperou
trazidas
trazia
tristezas
esteira
puxou
quam
punho
ntima
nuvens
destrança
desmanchou
deixara
deitou-lhes
sequência
separam
sinédoque
sujo
sólidas
conselhos
colectanea
doctorum
dito
divinização
doutor
libertada
masculina
mbar
lamacento
lamela
lareira
esqueleto
esquerdo
escura
parece-me
espelhos
pareces
paralelismo
ninho
nicos
nascido
balão
batendo
aulas
brilhar
segurar
envelhecime
entender-se
envelhecer
civilis
científico
reportorium
respectivam
ressequido
licenciado
libri
lados
lendo
pancada
panela
bacharel
avisos
beiral
bigorna
raspa
canonici
candeia
escapa
dava
declaro-vos
defeito
simbolizado
simbolizam
sopas
inferiores
continuado
contente
iluminados
resistência
lume
merece
canseira
canoso
decretalistas
decretais
metálico
meteu
metade
partilha
provar-lhe
pegares
peles
perguntava
perguntada
mordido
precária
pregador
acordado
ajuda-o
ansiosament
atormentad
inventor
sustos
reconstruir
excentricida
missa
plebeia
semelhança
sentam
senta
fragmentári
frágil
física
académico
visionário
incógnito
escolhido
estilhaçada
estimado
sebastiana
eleitos
destrinçar
dorme
diversament
diviniza-se
mecânica
escrituras
sublinhar
reposteiro
canonicame
deficiência
cintura
local
capazes
cansa
mundos
primazia
versa
temas
tocar
concordou
açougue
chamariz
confissão
estrelas
antagónicos
grávida
sobrevoa
cedesse
completas
condutor
unificadora
pólos
diga
acharam
surgindo
achar
virtuoso
incipit
faltando
noutras
revelam-se
estavam
ocasionou
nove
piedosa
polariza
põem
duvidosas
saiam
d'une
absolvidos
inaugural
frei
sugerem
criam
igualmente
divulgados
calar-se
procurar
souberam
participasse
l'ordre
concepção
tocou
agrilholados
aliviou
estranha
acompanh
acusada
exprime
forçados
vitória
rechonchud
coto
mariana
sacrifício
despertam
feitiçaria
absurdamen
casados
constrói-se
compaixão
névoa
qualidades
bálsamo
enxugou
prodígio
profano
aparece
cumpre-se
sonhado
impalpável
represent
lágrimas
lembrou
caldo
serviria
retira
ramo
logo
ldesconfian
ogro
dedinho
pedreiros
mouvement
mortalha
ordres
precisava
concluira
tomás
chamava
chamou
confins
olha
tardavam
tarefa
alagados
sociais
cegueira
chamamos
explicações
aquando
confere-lhe
confunde
complet
rostos
durailte
enegrecida
adiantada
abraçados
symbolise
talhados
talha
angéliques
horas
harmónica
giravam
viva
extremo
regressa
recri
cosmético
conversar
cósmica
vais
começou
levantar-se
rodeada
risada
obscurantis
brandão
planétaires
pinto
dynamisme
dynamique
encarnada
d'un
desprendeu
despedida
demorando
desenho
désigne
71
720
amantes
amada
sentava-se
visitar
conseguem
refugiada
arde
classes
cobria
esperando
esperava
nergies
transgridem
estaria
estás
queimado
efeitos
fuligem
devagar
intersecção
principaleme
cycle
inacessíveis
distinguem
dormiram
doutores
distintos
divino
medicina
escuras
pálida
baptizada
baptismo
caiu
procura-o
curar
serás
claras
retemperad
melhoras
reagem
bien
informar¬se
convencia-o
retratados
mergulhasse
perdura
perfection
viagens
opressão
ontem
alojam
atravessado
atraso
inverso
alheia
sobrevoar
sobressai
centrais
céus
aprende
sacraliza
sábios
estrangeira
europeia
foram
ambos
vinham
certeza
mandando
madeira
aproveitado
rodeio
trevas
poço
finalmente
introduzi-lo
suspeitas
famintos
constantes
luzes
colhendo
directo
largo
esteja
queda
salteadores
isotopia
intolerância
ensombrada
apelidados
cruzado
sítio
sombras
faziam
espanhóis
cabe
privilegiados
dans
servido
subversão
contactos
cima
resposta
resultou
mendigos
levantadas
letrados
realça
belos
imediações
iluminando
localidades
ligado
provocou
pena
inquisitorial
persecutório
teclas
tocava
traçam
torres
configuram
tensões
vedras
assaltando
roubava
rota
bocal
interesses
alheios
guardado
gritam
xabregas
arrasta-o
levanta-se
sacrificam
trágica
tropa
pista
digo
felizmente
inutilidade
desgarradas
desacertar
desertava
descalça
terço
solavancos
violando
viria
recusava-se
humanos
levantando
lavradores
estáticos
pungente
encarna
saltarelos
salda-se
gemem
francês
fugas
irregular
desencontra
aonde
farsa
escondida
parede
bate
budescos
joanina
erudito
sucessivos
panos
barregudo
austríaco
azeitão
avião
patéticos
debandava
decidir
participação
próximos
dedos
ilustram
metendo-se
meros
inimigo
perigoso
vivo
symbole
afinal
arame
poetas
sagrado
crucificado
42
comer
leis
morreu
movem
multidão
prata
chapéu
veludo
estribeiro
investidura
vivências
voltou
assedia
estufa
boca
forrada
amos
zumbaias
terminaram
cardinalícias
cardinalícia
cardinalício
carmesim
cargas
castelhanos
maça
conversa
cordas
cortadores
armas
cocheiros
coches
coche
ostentadas
painéis
pagens
ricamente
exceptuand
excêntrica
ntimo
passamanes
perseguição
secretário
satírica
demasiadas
deitar
somando
doméstico
dourados
esquecendo
fugiu
italiano
descrita
sexualmente
levada
papa
recebe
barrete
sermão
servir
lacaios
retratadas
liteireiros
partilhar
capelães
mortal
prescritas
precipita
presos
teme
tornozelos
premiere
pregão
atavam-nos
comunica
operários
opõe
acreditam
alcorão
ajudam
tora
cena
condenada
estuda
miudamente
mito
interditos
involuntaria
acompanhad
alienam
voluntários
voyaient
c'est-à-dire
chamado
c'est
ceci
marcação
maiores
mâle
variantes
variando
croit
completeme
sacramentai
romanesco
execução
examina
pescoceira
semânticos
encontrarem
galés
dificuldade
digam
femelle
interiorizada
derruba
absolutamen
abandonar
suprema
addition
acabe
talmud
adaro
adam
amoralidade
amoroso
homogéneo
hébreux
virada
certamente
carcereiros
carícias
extenuada
consabida
facultando
faço
redentor
recusa
cristã-nova
cristo
comédia
orfeu
escasso
transforma
transgressor
secretários
ecovisão
empurrava
effet
saía
fois
journée
desejáveis
descobre
desenhado
deitava-se
abstinência
ensinam
amar
amanh
sentença
sept
faltem
corregedor
inaugurando
começar
compagne
idênticos
humaine
diversificada
dogmática
donne
relapsos
l'éxistence
l'âme
espiritualida
escolásticas
espelha-se
escondiam
escravos
naturais
quadrilheiros
quintais
objectivar
passes
salvar
jejum
jogos
entregam-se
equivalentes
entrava
aparências
curtas
curta
sintagmática
fechar
impossibilida
clarividente
improvisada
imposta
materna
leituras
juntava
aussi
camaristas
cancelos
escândalo
eróticos
procriam
procurasse
subitament
contrasta
contíguos
repetia
lisboam
canonistas
cantarina
dédouble
reservados
ligados
l'on
cara
pentateuco
perdem
permitir
moralístico
verificável
tecendo
sobreviver
advertência
anacrónica
sofrem
cauda
facilmente
valorativos
valor
apostar
compara
pagam
rins
inusitada
depreciativo
humildement
conhecido
juízos
devendo
escrito
esforçam
nascesse
entendiment
enviado
escape
profecias
sozinho
ciliciosament
propósito
cingem
resgatados
liteira
lixam
instruçáes
percurso
perdão
toca
preocupava
pretensão
possuir
verdadeiro
assombro
atendida
oportunidad
tecladament
tiver
tipos
confiscados
oliveira
populi
tardaria
abertos
andamentos
habilidades
graciosa
graveto
tínhamos
tinta
cedo
aproximação
completos
compare
romba
oferta
oiça
misturavam
bocas
afectivo
afectiva
afiada
homossexua
gigantesca
haendel
zarolho
vivaldi
zação
experiência
marcando
reduzida
recorte
registos
criticada
cópia
corto
arquitectural
apropriar-se
apostasia
armou
comentário
ouvindo
ridicularizad
tribuna
risco
ritmo
rude
excelência
exclamativo
exagerar
evocada
ocasional
pilha
podem
perseguir
poético
sensibilidade
doutrinária
sapateia
futura
fusão
formosos
deverão
desrespeito
161
fernando
inteiros
fogem
feio
desejo
desenvolta
hipotáctico
violas
conscienciali
exibição
correntio
crimes
começasse
comova
relembro
marreco
judicativame
julgamentos
latinizantes
lazer
julgue
escorreitos
esquecer
escolher
escreva
nelas
estilização
estejam
queimo
querido
quero
quilo
saltássemos
edificador
edifica
determinar
abundância
abundantís
aparte
cultura
culto
sinal
sintéticos
superlativos
sonhadora
corriqueiro
impressões
implicações
distantemen
docemente
dizem-me
rematando
escuto
nitidamente
notaram
nica
balança
bailado
cadenciados
breves
brusca
esbeltos
escala
promete
dança
severament
simo
significativa
substitua-as
subjectiviza
suavíssimo
subordinati
súbita
responsável
lidade
lembram
laço
lenha
pandeiretas
raminho
bigamia
bach
raiva
defeituosos
deficiente
sons
influenciado
controle
retratada
requebros
bens
prosaico
dedilhada
ministrados
injustiças
inscritas
pensativas
percussão
persecutória
muda
concebe
comuns
teia
onírico
monárquica
acredita
agravada
confessor
vagueia
urdir
invés
tarda
alienação
aliena
alheio
aniquila
gostos
sofre
vulgar
vulgo
cerimoniosa
explica-lhe
mandou
variam
apresentada
conhecer
confere
trama
duplamente
duram-lhe
ganha
achacado
surge
engenho
adoece
antiga
anti
homenagem
visionária
virtude
caricatural
expectativa
marcha
recusada
reçoit
regras
crescem
aproveitand
levarem
marido
ouso
novas
transgredir
excelente
fundamento
garantir
flatos
densidade
desmaios
amadurecem
cruza
indiferente
casamentos
casando
fanico
criarão
ignaro
ciclos
disso
liberação
l'heure
esconder
normas
nasça
estereotipad
ausenta
quatre
qu'il
passou
emaranhado
se-ihes
salvá-la
frica
fria
devaneios
entusiastica
profunda
produtiva
produto
aparecendo
significativo
sonhar
feed-back
igualdade
resultado
leva-a
beleza
canónica
proporciona
dando
debilidade
declarar
servidor
súbitos
reacção
capaz
protagonista
psicológica
metaforicam
méritos
pedagógico
peca
deitando
pedinte
penitência
insinua
m-se
morrem
moralistas
prazo
pragmática
pratas
toscos
velas
associado
concreta
tendendo
tarimbas
andaimes
vivia
tesouro
compatifica
unicamente
roubadas
estrangeiros
ofícios
olho
adiantado
tábuas
tafetás
analfabetos
anexim
vindos
cavada
explicitação
maravilhas
explicativa
cronistas
vaso
artífices
rústicos
personifica
persuasiva
semelhantes
semente
encomende
fidalguice
fidalgos
ficaram
fizera
ironia
descer
engenhoso
supremas
suplicante
suspensas
tamancos
soldados
solfas
vira
conjuntivo
extenua
faltasse
luzir
receberam
correntes
crer
coloniais
cobrar
ornamentos
oscilavam
esperar
oscila
transitavam
necessária
navios
puseram
queluz
obrara
saiu
destinatário
deleite
abundam
culpa
somas
consoladam
fausto
implorar
mastros
lapidaridade
lâmpadas
lançada
escrevo
estado
paralelística
nascem
rgão
esterilidade
estética
caiba
elvas
enumeração
produtos
apêndice
damascos
curioso
servem
subordinativ
criadores
medita
levados
paradas
aventuras
beliches
rastos
defunto
repudiadas
retóricos
ltima
metrópole
mesa
captar
pede
provérbio
pensar
chegava
veriam
teimais
precisos
atar
vazão
olhai
confundida
sacramentos
bolsos
anticlerical
sofrendo
cortesão
cortejo
pagam-se
ousais
pagai
obscenos
pobre
dúvidas
sagrada
doutra
fornicardes
fornicando
desregrame
despejar
designa
descaro
desejos
virar
ibérica
comilança
dívidas
transitórias
purgatório
quaresma
queixos
elevação
sujardes
distribuiremo
dízimo
escudos
paraíso
pálio
bebedice
bebendo
patente
danação
sexuais
razões
rabo
capar
reprimidos
pecadores
pecadora
pavor
península
mortuário
múltipla
motetos
motetes
morrendo
musical
ordens
morgadio
chegavam
te-deum
alti
prenunciava
asturia
moita
monjas
tecla
alenxandre
agraciado
agradou
aliviar
agentes
celebrarsi
veicula
vede
assiste
atrás
composições
compositore
ultrajada
utilizados
estreitament
estranhar
abrigo
algarves
anno
grávidas
guardi
hábito
gozam
grau
sobredourad
vivessem
tetraneto
portogallo
faça
varrasco
varões
ascender
artistas
sacrifica
rosário
saciar
sabeis
sacros
eventual
misturada
mística
bisneto
pompas
senão
duque
desprezo
irmões
irmãos
deserto
desaparecid
desacordo
suspiram
supõe
admirável
ambíguo
amen
honra
gesto
historicamen
heranças
viúvas
visto
carta
casual
porquanto
consagrava
existem
maest
existia
falsa
maniqueísmo
manutenção
manter
manos
recomendou
regressar
refere-se
regio
cravistas
cravísta
cravista
vaidoso
armónico
arquivo
arbítrio
cobro
maritaggio
pais
napolitano
nápoles
trazido
trineto
estivermos
exerceu
atrevessem
pudessem
ociosidade
brasileira
perseguindo
pesquisas
poderosi
policiava
podia
secções
seixas
santiago
eis-me
sairão
fundadores
geradora
gasparini
gennaio
devotament
devoto
florescência
introdutor
festteggio
desculpabiliz
de'molto
desenrolar
deixam
enormement
hipocrisia
hinos
virem
indignação
indica
favorecendo
luxurioso
fanático
relacionado
reinariam
dolorosa
disfrutando
ditemática
dividido
dividida
relacionar
esperança
palazzo
estadia
neto
emprega
salvarem
edificação
elogio
frequentam
freiráticos
desvia
italiana
episódios
entoando
principe
apelido
serenissimi
sonata
sugerir
fecundíssimo
impresso
impostos
impõe
discípulo
religiosa
restos
libertinagem
libreto
matéria
justificar
esegui'nel
parentes
esforça
espácio
recebem
receber
beckford
camas
escândalos
escaparem
procurando
defesa
situa-nos
status
spagna
contraditória
continuam
contrata
resistências
limitarem
partições
particular
rebelam
cantora
cantar
pátrias
pátria
psalmo
ptima
decorreram
conventos
ilustrativos
benéfica
bendito
capital
peça
protege
deitados
mestre-de
mestre
inovação
instalado
insubordinan
permanência
vestem
verde
alternando
tornam-se
pormenoriza
gramática
viveza
típica
cenários
compridas
utilização
usado
mobilização
intencionalm
acumulação
abolição
anástrofe
falas
marcadamen
recta
brancos
sagradas
diálogo
fontes
engenhosa
hipotipose
visualismo
visualizar
visuais
vírgula
viram
673
carvão
exibe
costuras
comecemos
humildade
humores
colocasse
direito
lascado
escovam-se
negros
transgride
naquilo
estilístico
purificam-se
segunda
efeito
frásica
frase
jorra
descrito
hipérbato
cria-se
choram
claros
juntamente
esmagado
espontaneid
espécies
normativa
notações
brilhantes
camisas
apontado
apelo
série
subir
individual
impressão
impor
lembrando
nocturnos
bernardes
azul
subterfúgio
cinzento
limitações
infringe
metáforas
metáfora
mimetismo
morremos
praticament
vergonha
total
posso
veículos
comporta-se
acolhe
falando
evitar
braço
pertinentes
dura
diegético
supliciados
surpreendid
soberaname
carro
carlas
manipulando
recuperação
tribunal
revisitação
minudente
podíamos
fomos
demiúrgica
constantem
relações
relatados
rezas
elucidativas
interpretam
seria
materiais
justifica
subiu
contingência
ilimitada
retórico
controlando
pensa
perecível
motivo
ordenou
pretendia
monumental
técnicas
tivesse
precursoras
pretenso
atentament
atenções
modos
tem-se
tecido
universidad
interessou
inventos
tentativas
aerostáticos
aerostáticas
afirmado
afirma
gravura
cepticismos
cerimónia
aquecidos
conhecem
sacerdócio
exactament
observar
mistificação
seminário
forem
aderiu
hospital
inconsciente
castelo
faleceu
conhecida
judaísmo
negócios
naturalment
naus
numerosas
perseguiçõe
poderia
seguem
genial
deve-se
designação
relacionem
mecânicas
leia
esgotar
questões
segurando
deu-lhe
jesuíta
jaime
equipament
envolviam
envolvido
esboços
progrediam
príncipes
indiscretas
correu
científicas
ii.o
distrair
medida
justificaram
lendária
baía
bruxaria
cânones
subtileza
consulte-os
repressão
limites
publicados
ingenuidade
controlo
lógica
morrido
músico
tema
posteriorme
previsto
operário
alegre
altares
torreões
topos
ventura
atinge-se
modestas
modelos
actos
terzi
centram
centra
celas
conforme
sabe-se
romanos
romano
rosa
oitenta
misturam
abside
acho
animado
glorioso
giusti
harmonizand
harmoniza
catadura
catacego
portaria
manetamanh
macau
fachada
mão-de
recuperando
rectaguarda
rectângulo
recrutada
refeitório
regista
varandim
cozinhas
arquitectóni
arquitectos
articulados
conheceram
levantaram
trezentos
transepto
rocaille
europeizant
nudez
ocorrência
ocorrido
ocorreu
pires
encarregado
dramaturgo
dupla
sagrar
ecoa
funerária
formaram
despachem
dezassete
ficamos
fluido
dependência
desejava
acentua-se
encontrou-o
acesso
ambas
crornatismo
herdeiro
visíveis
idades
lavatórios
laterais
latina
judeu
orientador
escola
travado
quantidade
quadrados
quarenta
querer
quinto
brasílica
passar
passaram
salienta-se
edifícios
elíptica
frederico
desconheça
entanto
entra
culminanted
curva
crescimento
documentos
disponíveis
ditado
escultores
escuros
nasci
batalha
ausentes
bassílica
caminhos
bulletin
jesus
escadaria
privacidade
prodigioso
procurou
cumprida
situamos
smith
imorredoira
resolve
lucília
labirinto
ladeada
passagens
bela
rapidamente
biblioteca
bibl
pátios
proporções
definitivame
degredada
deduz-se
decorativa
definindo
influências
contenção
contém
benções
capelas
protagoniza
localizações
loggia
meses
pedia
inscrito
perna
morto
mostrassem
n
acionais
oração
chegassem
vicente
ver-se
temíveis
tivéssemos
postas
prado
pregados
vier
vermelhas
vestidos
conclua
onofre
montes
alusão
alcino
tiranos
tirania
torná-los
trabalhe
topada
assis
ubaldo
olhou
inverosímil
inventou
tendo-nos
alheias
andamos
anónimos
andada
vocabulário
voltadas
chagados
expõe
expo
vastas
assembleia
assassina
aspereza
aspira
complexidad
comparado
roupinha
trouxe
bisonhos
ponte
tampo
talho
tadeu
adolescente
admissível
andou
amito
horácio
zacarias
cerirnónias
católico
falar¬lhes
marcolino
reclama
regra
conversação
cotovelos
cosmos
cristóvão
valores
costas
valério
vales
aproveitar
arbitrária
aresta
noutro
ridicularizam
trocaram
sacrifícios
reunindo
ruins
ritual
rufino
estivessem
exemplos
obrigação
miserável
brás
plantas
pisado
pluvial
pias
senhora
sensações
encieirados
dúvida
egipto
sarar
sátira
egas
geraldo
formálio
desmistifican
dignidade
diárias
inventadas
focinhos
fluente
feridos
firmino
feitos
denunciando
demoradam
desigualdad
delicados
depende
descalços
acabarão
crueldade
vilipendiada
virgem
reinterpreta
reflexiva
léguas
légua
escrevemos
transportar
tratamento
ribamar
estarão
atribulada
quadro
aturar
pura
questionar
objectividad
objectiva
passarinhos
passo
embainhar
sangravam
frio
isabel
isidro
interpretada
deixemos
entortar-se
entrarem
profissão
dade
síntese
sonhando
sumir
solo
reflectir
implumes
disciplinas
distinções
dizemos
medem
lama
juvino
esparvados
espalhar
parecem
escritos
parar
nomeados
nicanor
transposição
transportou
autos
bastaria
bastava
quitério
brilha
cabeças
caminhar
bruxedo
caída
caladas
burro
entende
ermo
apoiou
daniel
suceder
suave
continuar
imortais
cisma
clara
respeitar
retalho
lindo
melancolia
meia
lacrimejante
lembrados
parou
rapação
rasto
canónico
próprias
infalível
contando
contas
imaginado
imita
louvado
lombos
dedo
ilusão
longe
metatextuali
metatextuai
mestres
pediam
provavelme
minorcas
pensam
pensou
perderão
perguntar
oral
presume
prega
topografia
toponímia
confirma
modificando
alista
condenados
gozo
cerejas
ouvirmos
trajectos
rítmico
observa
gaiolas
inventando
fitas
fixo
enfeitadas
surre
independent
direita
página
púlpito
emente
destrói
irrompem
acaba
acabámos
sentenças
considerada
ditados
nascida
entrelaçand
profere
significação
serra
aves
canários
aplicadas
aplica-se
loucos
cantam
prosódico
perfeitamen
mudança
temporalida
torreão
opinião
moços
interior
abrem
angola
césar
maravilhoso
criticam-se
variadas
ocorrem
suspeita
caridade
porqu
referido
notou
efemérides
salientar
irreversível
intrínseca
enquadrame
acabada
enredo
principais
apalpais
herói
criar
notação
pataca
profanação
situadas
feições
criado
contem
lisboeta
mereceu
cantores
permitindo
pretérito
verbal
assume
alcançar
andamento
expressivos
convivem
confrontado
uníssono
formal
interioridade
abdique
terceira
afastamento
antecipadam
falassem
varas
rumo
pior
dual
interjectivos
designado
referidos
reinante
humana
coexistem
directas
oscilação
específicos
narração
empregando
eliminação
destino
interrogaçõe
erecção
aparecem
indirecto
imperfeito
discípula
religiosos
mediador
aponta
simbolicame
repare-se
lubrido
lembrança
raramente
prosseguir
deícticos
milhares
penetra
perfeito
preces
prefira
verificada
técnico
posterior
atreve
mónica
afrancesado
aforismos
poranalepse
invocada
abertura
aberto
alienando-se
gravita
volta
xvii
facção
saberás
exaltavam
exaltava
filipes
adivinham
tamborilar
tambor
amplo
antecipação
havia
soldado
independênc
castiços
constituind
reelaborada
recreativos
recobrada
conversas
comentários
comendo
começos
companhia
conheci
noutros
tradicionalist
retrospectiv
nalguns
triste
rufa
noviciado
novena
pífaro
podendo
segredos
santo sedução
encarnação
saúde
fundamentai
genericamen
funcionalme
devoções
destinado
devota
flash-back
denegriam
desengana
enganada
consolidar
conseguiu
ideais
clubes
marvila
mbito
estagnação
revolucionári
rezar
queres
detrimento
profundidad
apareciment
dado
superar
distinguiu-se
distorções
remédio
leva
parideira
nobres
defendido
simétrico
inferioridade
indivíduos
contada
repenicar
repenica
reprime
influência
infeliz
contam-se
imaginação
lóios
provérbios
milhões
milho
instalou
mostrou-se
municipal
movida
chegada
charneira
vigentes
verificando
vereador
comunista
concluído
tornou-se
potugaise
prémios
assinalável
activamente
tendo-lhes
tendo-se
acordo
agita
vivos
célebres
vejamos
roubar
urna
usar
estranharía
estranhou
estúdios
bordeaux
interessa
abono
adormeça
afastado
há-de
gritado
goleg
voyage
vindo
terminou
carreira
cerâmica
reescrita
convidado
variada
padeiro
unilinearmen
reveste-se
traduzida
unilinear
tradutor
eventualme
estivéssemo
estraçalhad
exclusivame
evento
ocupando
biográfica
plural
pôde
polifónico
económicas
encontre
dificuldades
dinheiros
desempenh
suplemento
vigiando
68
incontornáv
inclusive
luta
regimes
cravo
cortarem
colóquios
colagem
director
levava
organização
orientação
países
ndole
trémulo
revistas
ribatejo
estiveram
pulso
sectores
encaixa
seara
educação
editions
festas
intervenient
intervir
desliza
acabam
cumplicidade
cruzam
sentimos
construída
reflectir-se
implicação
cidadão
mecânico
lanzarote
esforço
espada
especial
escritor
narre
narratário
quiseram
quiser
bala
caixa
frequentou
desvirtuado
dama
serralheiro
simpósios
siécle
sonhe
ilha
membro
l'escampett
pálpebras
panorama
recebendo
aventurado
azinhaga
beira
câmara
debandada
definição
declara
sono
inferno
controladora
conte
residir
littérature
literárias
ligadas
mereça
participou
partidária
proximidade
publicação
propunha
prosa
dedicar-se
militância
injustiça
iniciativas
perda
permite-nos
predomínio
força
intenções
intenção
forte
137
cruz
qualidade
frequência
reflecte
claro
religiosas
baixo
mostram
oralidade
pontuação
tinham
ficou
falo
colocado
travessão
saramaguian
sair
identidade
devagarinho
seres
bênção
vieira
velho
tarde
população
graça
conhece
ocorrendo
dinheiro
derradeira
enfim
novembro
festa
dele
enorme
essencialme
escreveu
nasceu
clarividência
pública
primeiras
verdadeira
típicos
comprometid
confidencia
tentar
anonimato
anónima
assados
roubados
pertencia
ficcionista
invento
sustentam
admite
anes
conotações
rectificar
arrancar
estou
económico
fundidos
ganhar
dessacraliza
desrespeita
desses
descendent
familiares
identificando
humilhados
ideologia
punhado
destinos
erguer
sintaxe
reflectem
colectiva
dominantes
massa
laia
eruditos
propõe-se
individualme
individualiz
construtora
construtor
criadora
ressaltam
lido
rebela-se
autobiografi
infelizes
resgatar
residentes
pense
pequeno
opta
vertente
concede
assumindo
veio
pormenores
centro
explicitamen
comparaçõe
sacralisado
pertencem
perspicácia
seleccionar
dilui
inteligente
filtragem
derrisão
abrange
adquirindo
anti-épico
termo
consagrados
reduplicação
reconstruído
ridiculariza
evocados
duvida
sarcástico
devíeis
irreverente
inúmeras
irónico
acabar
vila clima
considerado
ideológicas
humor
relata
julgamento
laudatório
atribuía
el-rei
elucidativo
devastadora
detalhes
deve
sinais
significações
discordância
parodísticas
panfletário
paráfrase
parodiar
nobre
nível
narrar
barrocos
autores
camões
declara-se
subjectiva
realismo
patriarca
limita
inserindo
perceber
preencher
conceitos
possível
venho
acrescentar
habitual
experiências
variar
arrastados
paciência
tríade
evidenteme
europeu
sensação
intelectuais
fidelidade
desgraça
caracterizan
exército
correndo
esclarece
notícias
pássaro
empenho
emendar
emenda
satisfaz
irreversibilid
custódia
far-se
colectivo
lançando-se
leito
envolvem
equipa
cumprimento
serventia
responde
lacunas
lendas
degredo
declarou
informa-me
imaginando
realização
ilustrado
proveito
inicial
insatisfação
mostraram
ordenado
verificação
monumentos
temático
temores
pretendiam
verificou
comunicante
conciliar
montesquieu
alem
tolentino
tomos
possibilitou
ateus
populistas
alismo
volumes
teses
condillac
utilitaristas
u-se
etapa
bocage
filosoficame
filosófico
filósofos
filinto
acusaram
teológico
teorizar
tentou
abriu
afastar
ampliar
anastácio
wolff
católicas
consagra
rectângulos
cristianismo
coordenar
converteu
criticar
arma
tradições
exclusiva
evolução
ocupado
planta
sensualismo
enciclopedis
santos
frade
dinâmica
diderot
invenções
fizeram
democracia
deparavam
superstição
suscitando
134
encontrou
abade
constitucion
regeneração
corredores
correlação
crescente
criativo
correia
ideológica
hume
levou
escravizar
necessitado
estática
empirismo
elísio
enraizado
d?alembert
sentimentali
sistemático
sistema
domingos
divulgador
divulgar
divina
matematicist
materialism
laicização
estabelecer
newtonismo
nicolau
procuraram
proclamou
significativas
substâncias
stuart
ludovice
radicalizou
r6sseau
raízes
indústria
contemplado
repúdio
bentham
deístas
infundados
inglesa
inglês
iluministas
locke
metafísica
provém
mill
prepotência
vidente
atitude
modelo
graças
vocação
conduz
odivelas
artes
transfigura
princesa
sujeito
esposas
freiras
passados
capacidades
movidas
mota
preciosas
prestígio
concedido
opostas
técnicos
povoamento
potências
prejudicada
assumiu
moderniza
agitada
território
típico
positivos
expoente
vejo
vastíssimo
compositor
confiança
complexa
trouxeram
utreque
utilizar
roque
irão
intensifica
açúcar
aliança
governação
sofia
chamada
facções
facetas
criteriosame
aspecto
apreciada
rituais
europeias
obtidos
bragança
personalidad
plásticas
pesado
pleno
eclesiásticas
económica
fortalecida
destacaram
destaca-se
dignidades
diligências
dinastia
fidelíssimos
formação
firmada
ficarem
firmeza
desfecho
derrame
absolutismo
engenharia
absolutista
amazónia
ambíguas
vitoriosa
incremento
incúrias
cartografia
casou
lustrado
madre
reconhecime
reforma
receita
comandadas
23
diplomatas
ostentação
exercício
estilo
brasileiro
péssima
santas
francamente
dessas
intervenção
deixando
sumptuárias
solucionada
favorecidas
favoráveis
consolidação
considerava
conselho
reflectiu-se
corrupções
dominação
domínios
do-se
dispendiosas
dispendiosís
dissipadas
dissipação
dividiram
diversos
disputa
releva-se
matar
palhav
neuburg
quarto
quis
janeiro
entende-se
episódio
erário
proclamado
produção
fazenda
importantes
resultados
restituição
restituiu
libertino
medíocre
campanha
aplicados
debatido
serviços
simas
soube
spera
indústrias
imitar
meninos
públicos
decurso
inglaterra
beneficiada
iniciada
ministro
insurreição
movimenta
precedentes
alterarem
comum
inverterem
filipe
advérbio
analepses
má-f
recuar
arrábidos
poderoso
futuro"como
fundamental
formas
fradaria
110
dezasseis
ficar
flores
acelerarem
coincidir
esqueçamos
obedecer
eduardo
fulminante
cuidado
consentimen
favorecidos
conservou
ciência
matriz
espanhol
dá-nos
sucessivas
citação
renitente
meios
mínimo
injunção
percebermo
moradores
teimosas
touradas
molinismo
alegria
altos
terreno
miuçalhas
andando
sodomia
testemunho
completa
usarem
sadismo
saem
desacertada
advém
gostam
recorrente
convictas
cristãos
arte
167
83
persistentes
dramática
saindo
generaliza
gerações
futuras
despejando
feiticeiros
denunciar
descendo
engloba
hereges
solicitá-las
constata
reincidentes
correntemen
cheio
disfarçam
relapsas
relativament
relaxadas
negativas
trata
qualificáveis
objecto
passíveis
secular
aparenteme
sintáctica
impiedades
imprópria
cidade
domingo
juntando-se
justiçar
espaciais
nomeia
barroca
cabeça
apoio
situado
bere
canto
escapar
contumazes
reptizar
lisboetas
opressora
oprimida
verosimilhan
verosímeis
potencialme
potencial
venda
típicas
positivo
expressas
conferida
conflitual
conflitos
conferir
unda
ofício
invulgares
symboles
antagonismo
voto
vultos
cerimonioso
marginaliza
exprimindo
validando
costa
aristocracia
duplo
desprovidos
dictionnaire
figura
invalida
acabou
constituem
falso
coelho
relatos
originais
negativa
negativo
transição
editora/nom
edições
jornal
corrupção
ditions
baltasarlblim
bastos
entusiasmo
aparecerem
cunho
serem
sexualidade
subordinada
importa
cito
resolutivas
resolução
laffont/jupi
paris
azinheira
bertrand
contraste
contribui
reprimida
retratos
literalmente
parto
morte
alerta
guardar
soberano
xavier
magia
referência
sabem
desafio
narra
questão
seiscentos
empenhado
nasce
de-f
prova
monumento
praças
vasta
ruas
cardeal
trinta
transgress
heresia
casas
colecção
espanhola
daqueles
contínua
instituição
possui
activação
almedina
alcance
alain
gulbenkian
comportame
modalidade
tico
porto
expresso
sacramento
saga
diegética
gheerbrant
manifesta
código
levaram
139
182
nesses
genologia
fundação
dever
foco
ensaios
heterodieg
constam
reflexão
específica
narratologia
frequentem
frente
determinado
descrição
enunciado
seriam
sonatas
resulta
calouste
definida
informativos
instituída
permitida
ajoelhai
tomar
tomou
guas
anacronias
mandado
aqueduto
peso
dias
desenvolveu
idade
revolução
fuga
ferros
considera
imposto
material
lugares
livres
perpassa
moral
guias
toneladas
tome
tirar
porventura
velhas
velhos
turísticos
afirmar
aliar
gratuitamen
centímetros
mobilizada
sena
encontrarão
forçado
achado
supor
redentora
redondos
varanda
arrobas
sacrificial
números
obrigando
pobres
pocas
polida
senhoras
sapiência
garras
acabarem
antítese
visitantes
conseguiram
humildes
diremos
reler
liberdade
lavrada
largura
espessura
esquecem
transportara
transpor
quinze
quilos
passemos
elevam
entram
proferido
solidariedad
corrigir
materializad
materializar
laje
buscar
cabia
imolados
imolado
rainha
imaterial
benedictione
instauração
inscrevem
instrumento
pêro
complexo
gravidez
fácil
diamantes
conventual
vaidade
155
crist
marquês
seguintes
delas
dizem
notáveis
norma
ermitão
princípios
sérgio
resto
paroquial
bento
paula
populares
estudos
haveria
rmos
doze
deram
fama
recolher
relato
frequente
descreve
sequências
singular
lembra
símbolo
traços
vendo
actualmente
anjos
vindas
97
diário
desenvolve
desempenha
acaso
ideias
donde
judeus
júdice
nascidos
principal
disto
passa
evasão
fundo
desta
50
coimbra
tratado
relaçãoordem
realizado
pereira
compreende
cronológico
arames
difícil
financeiros
76
67
188
recursos
sentir
materialidad
bastardos
entretanto
simplesment
situam
sucessão
linguagem
repente
musicais
pretendemo
associando
atenta
alargar
aluno
interessara
convidamos
convite
confrontamo
completem
confronto
pertinente
fichas
gostaríamos
horizontes
incluímos
incluir
extensiva
redacção
149
exercícios
noviços
funcionamen
formativas
destinamos
inúmeros
introdut
deliberadam
deslindar
considerámo
criatividade
colegas
largas
específicas
rias
apelam
sugerimos
cria
divisão
autoras
auxiliar
substituída
contextualiz
linha
linhas
propostas
público
partilhem
pautámos
pegarem
pedimos
iniciarem
inserem
pensando
permitam
torno
possa
obras
queimaram
sete-luas
papel
versão
facultar
robert
frades
17
lexicoteca
nuno
escritores
entender
erros
sete
representad
livraria
ajuda
acto
confundem
semana
terem
109
12
senhores
referimos
humanidade
daquelas
tenham
testemunha
chamar
acusar
teoria
global
viver
textualizar
convoca
completame
confronte
comparação
rigorosa
obviamente
mistura
políticos
sensível
formada
filtrar
fielmente
abandona
128
reconstituíd
trazer
questiona
intromissões
professora
fantástico
diríamos
diverso
estanque
note-se
brechtiana
impede-nos
restaura
meio
r0is
procurado
defendida
cinco
lidos
mergulhar
particularme
passadista
ptica
caracterizad
instituições
inteiramente
morreram
move-se
telheiro
chão
portuguesas
ventre
tecer
h~tória
posições
compor
estreme
bonito
acima
terão
abrindo
afastar-se
xito
cérebro
margem
referencialid
refere
levantemos
levantou
transcreve
pitoresco
senhor
gerando
forno
fingi-las
fingindo
desafia
administrativ
sentar-se
gerou
vimes
coisa
colaboração
noutra
reviver
estar
saíram-lhe
salientes
deixou
deles
cruzadas
sentimental
constante
referir-se
distanciame
ditas
nico
nora
jeito
entendê-las
enterrada
sete-sois
escaparam
imaginar
metro
mina
horizonte
hão-de
catorze
conjunto
125
pessoa
funções
audição
jorge
língua
conceição
torna
comprimento
vimos
madrid
existência
recurso
61criticamente
traz
melhor
contudo
morrer
vazio
pesos
pessoal
poesia
fictícias
academia
sala
custa
notável
importante
alma
tenha
fica
necessidade
simples
voltaire
terra
forças
endo
introduzido
correspond
relatar
espiritual
ciências
racionalismo
inserida
portugueses
omnisciência
fábrica
trono
77
reflexivo
mármores
sentidos
ausência
capacidade
alfa
grandes
estrangeiro
galeria
sarl
destes
crescer
possibilidade
actividades
vozes
falam
recolhidas
131
faremos
esteve
sentimento
contexto
conflito
valorização
desenvolvim
talvez
administra
consciência
colónia
meados
livre
publicada
39pequena
geralmente
dessa
clero
prolepses
problematiza
característic
trabalhador falsas
maior
companheiro
30
levantar
revela
estando
brechas
contempor
círculo
estrutura
85
referir
baptista
claramente
consiste
paralepse
processo
cunha
realeza
cinquenta
perto
699
oscar
francesa
ideia
partiram
partido
mosteiro
estrangeirad
glória
externa
anteriores
secundário
intuito
ensino
culturais
ignorância
memória
marginalizad
excêntricos
15
constrangim
seguir
entos
literários
interesse
abril
exploração
maio
conduzindo
analepse
colóquio
27
45
classe
chevalier
junho
jean
aparecer
religioso
leitores
sessenta
sonhos
18
anda
grandeza
cento
saber
durante
gente
profundo
serão
signo
verdades
oito
passando
quixote
debaixo
mulher
pragmáticas
pressupõem
pressupor
tolstoi
premonições
romarigães
abolidas
explicaremo
marcada
marcado
explicar
factor
artísticos
aquilino
conhecedor
semânticas
destaque
destacar
destaca
deriva
acedeu
anterior
190
incidências
comerciais
ricardo
ribeiro
emoldura
descodifica
solicitando
indicativo
indicador
consignados
i.o
distanciada
dons
discursivas
normalment
objectivos
determina
esboçam
enuncia
profecia
procediment
simultânea
subsequent
rememorado
rememora
restrição
memoráveis
lello
lembremos
lermos
informação
realmente
ilustre
captam
proustiana
vidas
carga
desse
nomeadame
partes
tendo
asas
sofrimento
descoberta
situação
luís
medidas
lembrar
razão
retrato
carne
crítica
riquezas
planos
direcção
disseram
informações
capela
paulo
popular
48
ouro
original
daqui
aconteceu
vontade estava
críticos
curso
rossio
haver
portanto
levar
poderiam
natural
quisesse
imagem
andar
92
escrever
frases
175
interpreta
localização
conceito
existe
autoridade
pedras
temos
apresenta
filosofia
falta
36
62
ficam
entidade
moniz
aliás
espírito
nacional
feito
domínio
religião
mecanismos
contrário
auto
viveu
consegue
consequênci
kaufman
levam
ponto
digamos
liberta
prolepse
lição
longo
período
moderna
160
novo
minas
prazer
competência
oficial
86
desenvolver
fazem
espanha
propomos
letra
chama
régio
europa
libertadora
narrativas
narrados
inquisição
temática
675
enciclopédia
acedemos
circunstânci
chegam
113
santa
criação
abordagem
político
lugar
concluir
176
eleva
permanece
físicos
736
mortes
tradição
pretexto
vértice
alcança
comungamo
celebração
atraída
condicionalis
recorrência
registo
traduz
exactidão
evoca
duas conta
fornecidos
fornecer
151
127
despreocup
desmandos
didáctica
destas
fictícios
adjectivação
exorcizadas
consciente
recolha
coroa
naturalidade
transmudad
trazê-los
revolta
gerais
sirva
sumptuosida
distancia-se
dista
espécie
ausente
elucidação
detalhe
enumeraçõe
problema
privilegia
aparece-nos
sublinham
imortalizado
citámos
remete
rebuscada
inferimos
reside
realista
infantes
imagético
longas
minimizou
integrados
perpetradas
permitiu
146
verificar
onze
antagonista
podemos
nessa
paredes
representa
pretende
postura
assistir
deixa
substituir
práticas
pessoas
20
irónica
nesse
cultural
monarca
estudo
cronológicas
47
emprego
veracidade
atesta
expressa
diferente
29685
interna
josefa
nascer
simultaneam
dedicado
mero
65
semelhante
espelho
seis
eram
simbólico
carlos
124
56 pistas
opiniões
universal
ação
seguinte
serve
retratado
mostrar
adiante
89
campo
contar
ultrapassam
anacronismo
718
projecção
procura
integrar
precisas
teve
677
669
33
140
deixar
iluminista
mundivivênci
agustina
tornar-se
assistiu
omitiu
modificado
sobressair
testemunhal
compêndios
oficiais
textualizand
manuais
exterior
referenciam
recriam
conversão
aqui
revisitar
rnítico
ocorridos
genológica
gabriela
fingidas
denuncia
acentuam
absoluto
hesitar
indexar-se
exibem-se
reflexo
clássicos
cláudio
específico
esquece
neles
questionam
profético
cumpre
superação
impossível
nomear
ngulo
quiserem
cadeia
construtores
ludíbrio
lirismo
lírica
autenticidad
autónomo
bessa-luís
contemplam
contamina
imaginário
literariedade
llansol
metatexto
insiste
integralment
integração
filhos
constitui
frança
quase
principalmen
literária
coisas
referencia
cronológica
crítico
indirecta
51
surpreenden
parece
situa
vamos
duzentos
dicionário
o-se
nota
olhar
dizendo
espaços
serviço
representan
presbítero
eurico
mãos
82
26158
herculano
neidade
narrativo
datas
contempora
metros
posto
reconhece
letras
mortos
preocupa
omnisciente
dentro amor
103
esqueceu
104
invenção
coincidência
publicado
inicialmente
mário
criando
radical
altura
itálico
leva-nos
pensado
momento
marca
695
706
emprenhou
respeito
publicações
imagens
nova
leitor
mulheres
política
intemporalid
revista
emergir
representar
98
entrevista
integrando
chegou
107
80
costumes
scar
aproxima
fora
173
corte
caminho
alunos
ustria
encontra
idem
mente
postos
momentos
reuniões
secretas
reino
sugerida
imaterialidad
português
posição
futuro forma
movimento
confia
evidente
112
74
processos
reescrever
porém
166
101
espera
quatro
fronteiras
eventos
atribui
casa
autonomia
historiador
títulos
evidencia
determinada
oprimidos
alteram
reconstitui
coloca
apesar
exemplo
país
passada
alteração
reinado
entrada
dela
sentido
início
tinha
séculos
palavras
análise
nomes
marta
objectivo
11624
59
através
vinte 35
manuel
115
privilegiada
verdadeiras
eterno
excerto
passam
alexandre
nela
século
novos
históricas
teria
antónio
191
editorial
palmos
iluminismo
gosto
aspectos
41
732
livros
136
significado
partir
temporal
histórias
construíram
barroco
dizer
xviii
10638
natureza
transcendên
discursiva
referências
118
permitem
portuguesa
encontrar
ficcionais
factos
referencial
694
apontar
tratar
dada
memórias
verdadeiros
148184
plano
estatuto
701
nele
falar
185
brasil
libertação
169
categoria
693
enquanto
79apenas
vezes
figuras
ambientes
reconstru
quinhentos
devido
sujeitas
notar
667
diante
ibidem
adeus
historiográfi
kaufrnan
metaficção
32
quer
164
social
43
geral
instância
então
91 671
tradicional
133
andava
quadros
literatura
acompanhar
vontades
justamente
mentira
três
fazendo
marcas
estamos
escreve
libertar-se
importância
povo
fizemos
668
170
entrar
tipo
ultrapassa
vista
precisament
próprio
movendo-se
biografia
dimensões
nunca
engrandece
nome
163
ficcional
reis
temporais
além
tempos
universo
674
próprios
intemporal
143 corresponde
ultrapassar
666
textual
igreja
pensamento
trabalho
730
tipológica
classificação
perspectiva
termos
implica
assim157
entedimensão
sempre
731 95
deste
textos
172
58
sido
122
heróis
integra
agora
lisboa
literário
130
contam
100 gusmão
realidade
helena
fala
703 sendosobretudo
casos
94
personagem
178
lopes
cerdeira
70
olhosgrande 42
73
739
focalização
data
explica
727 atenção
53 702
alteridade
romances
670
silva
função
própria
11
diferentes
119
44
181
poca
alzira
179
seixo
visão carácter
embora
729
autor
teresa
88 187
históricos
708 734
elementos
dois
maneira
cristina
ladopresença
hojegénero
portugal717
modo
livro
acontece
seja
44
narrado
724
vida
14
737
64
acção acontecimen
permite
697 caso
escrita
705
poder 700
145
personagen
real
histórica 735
pode
homem
mundo
726
121
leitura
facto
homens
francisco
686
pedra
música
152
0.0
joão
-1.0
a
-2.0
733
fictício
728
narrativa
154
672
verdade
ficção
40
41
46
anos
neste
histórico
espaço
ainda
-3.0
707
discurso
título
passado
3
também
740
obra
738
722
-6.0
-4.0
-2.0
0.0
2.0
Figura 3.9.4.5. Amplificação de uma zona da figura 3.9.4.4. permitindo ver com maior nitidez as
amostras de treino (vetores a negro) e amostra de teste (vetores a verde). 142 A figura 3.9.4.6. apresenta os resultados ao classificar simultaneamente textos das
resposta A) e B) e a que corresponde um coeficiente de correlação 0.668 (para uma
proporção da AT de 50%) e d= 1 no cálculo dessas classificações.
Figura 3.9.4.6. Resultados da classificação (usando o espaço semântico relativo ao Memorial do
Convento) de 60 textos de resposta (relativos a A) e a B)). Analisando os dados desta tabela com a folha de cálculo EXCEL, obtém-se a
figura 3.9.4.7., em que se “verifica” que uma reta de regressão permitiria predizer com
relativa segurança (qualidade R2= 0.445) correspondente ao coeficiente de correlação 0.67,
os valores de ClProf (Ministério) em função dos valores atribuídos pelo sistema (ClSys).
A figura 3.9.4.7. – obtida com o EXCEL – mostra que esta reta de regressão é
significativa e que os coeficientes respetivos são significativos ao nível 0.05.
Estes resultados devem ser considerados com prudência visto que, ao examinar
novamente essa figura, nota-se a presença de dois grupos imputáveis à diferença de escalas
de classificação das respostas A) e B) pelo que a correlação elevada pode estar associada a
este efeito e não à efetiva preditibilidade das classificações dos professores em função das
classificações dentro dos grupos.
Trata-se de um dos efeitos que justifica a recomendação encontrada na literatura no
sentido de evitar classificar mais do que um item de cada vez.
143 Figura 3.9.4.7. Significado da reta de regressão da figura 3.9.4.6. 3.9.5. Dados de GESTÃO. Experiência nº 1.
Neste número apresentam-se os resultados de uma experiência realizada usando os
dados GESTÃO relativos a uma avaliação formativa de estudantes da disciplina de gestão
de um Instituto Politécnico.
Esta experiência destina-se a investigar a possibilidade de usar as respostas dos
próprios estudantes em exames anteriores, as respostas dos professores ou uma mistura dos
dois para classificar, depois, novos testes.
Este esquema tem importância prática uma vez que se este tipo de instrumento se
destina a apoiar o trabalho do professor individual, não se deve assumir mais informação
do que aquela a que o professor tem acesso - manuais de ensino, a cultura do professor e os
textos produzidos por estudantes com que tenha ensinado.
Usando toda a informação relativa a estes dados resultantes dos textos de resposta a
uma única questão relativa ao conceito de Qualidade Total, obtém-se uma matriz de
frequências X (n, p) em que n= 1937 linhas (palavras) e p= 187 textos.
Realizando a decomposição em valores e vetores singulares verifica-se que para
obter uma variância de 90% basta chegar à dimensão d= 78. Usando apenas a informação
correspondente às duas primeiras dimensões para construir um biplot, a informação
correspondente é 48%. Isto significa que essas duas primeiras dimensões absorvem uma
percentagem muito considerável da informação total.
Na figura 3.9.5.1. apresenta-se esse biplot.
144 clientes
gestão
empresa
277
5.0
produtos
321
270
326
298
333
264
337
340
300303
processos
esforço
operações
250
melhoria
299
expectativa
249traduz
286
280
satisfação base
filosofia
302
324
289
259
total
287
335
322
organização
292
modo
contínua
328poder
283
assim
327
252
concorrente
301288318 produção
satisfazer
mercado
268
custos344
continu
295
cresc
qota
confia
serviços
269
nível
elevad
melhora
baixa
setore
ento
319
conseguir
sempre
ram
rentáve
desenvo
tambe
negóc
sejam
rentabilid
basicam
objetivo
começ
invest
atingir
inovação
concorr
ficar
reduz
logo
objectivo
positiv
preferê
consiste
funcion
venda
preços
258 293 316
256 330necessidade
expetat
objetivo
mante
serã
result
image
tent
top
satisfaz
equilib
presta
obter
rviço
produto
mere
pres
excede
bens/se
diretam
interm
melhor
obrigat
produz
assegu
aprefe
fornec
requis
supera
exerce
cresc
atingi
encon
bené
trata
próp
esco
prov
retir
dan
seg
serv
cot
irã
tra
alcanç
defen
empe
teor
aumentar
colabor
diminu
prime
ganha
deve
lequ
devem
gost
254 empresas
fic
comercia
deste
meio
266
constan
siste
teor
tenha
dinheir
primas
ativid
positi
novo
tent
matéria
forma
apresen
agra
cres
além
diss
cas
nom
toc
323
pessoa
reconh
ultrapa
gerar
desenv
grau
dess
altera
defeito
aprese
inform
presp
apres
aplica
descr
evolu
perce
reacç
adop
impo
reto
vend
entr
abe
adq
e/o
par
estipu
opera
serviços
ent
melho
alcan
estabilid
reputaç
consta
vantag
aumen
vendid
coloca
resta
ablid
bené
cheg
med
defi
duto
pel
reg
admir
seja 307
melhore
probabi
envolv
aind
deve
opera
object
organiz
rendab
prete
mod
tipo
podemos
porme
consegu
aspect
ultrapa
distin
comp
nega
dura
coloc
dete
sere
divi
set
fato
visív
conseg
traça
lucros
utili
vendas
preferê
preocu
tornan
operac
resum
concre
encan
maxim
vende
prom
exige
eleva
crian
defe
obte
com
foca
gost
alar
exig
part
satis
gra
zer
diz
ma
cri
profe
satisfei
pode
resum
rentibi
fazer
melhor
entend
essenc
prejud
impac
perpe
fideliz
contr
max
virtu
ocor
volta
sum
aba
des
gan
niv
funciona
motiva
empr
diz-no
perfe
prod
fina
procura
dize
forneced
preço
aume
bara
agra
acim
materi
essênc
trabal
negóc
levan
conti
cont
entr
inci
aniza
ida
lucro/r
opera
empres
grande
proced
exec
verif
norm
ope
prop
den
alta
saíd
pd
receit
defin
míni
ape
oferece
246
superio
aumen
linearm
perman
reconh
traduzaumen
eleme
motiva
eficác
super
basea
introd
desej
evolu
huma
tradu
renta
adqu
ligad
marc
tere
obti
mia
vid
un
existe
gast
vont
esfor
que
despe
cami
difere
cliente
empres
susten
compe
conseg
acess
satisf
desta
exige
levar
vend
man
cofr
fren
ofer
for
quantid
atualm
produ
organiza
esta
excelênci
conseg
consum
reclam
vantag
contro
factor
encan
plane
princ
perm
apon
atua
cust
ram
volta
defe
deix
mil
nfa
op
conform
contin
expet
fazprinci
contr
mp
aumen
aperfe
desem
enqua
290 263 espectativa
diminue
justo/d
reform
tempo
aumen
conseg
grande
reconh
recolh
adapt
barata
eficien
invest
lucro
remun
provo
minim
melh
perío
provo
orga
prop
cons
marg
queb
apos
de-o
plan
utili
diri
me
lug
car
cin
pod
aten
produ
intere
melho
ze
empr
condi
cump
consumi
continu
controv
estabe
supera
tendê
ating
enqu
oper
traba
gera
agra
visã
estu
gest
am
cau
par
talv
lan
trad
superar
tecnol
avan
obten
foc
comple
interes
propor
desfaz
efectiv
continu
necess
provoc
trespa
espeta
utilizad
ambie
liquid
adqui
chega
descu
contr
dispo
gerarectif
espe
logís
elevá
espa
próp
decl
padr
paga
real
ciclo
erro
foca
clim
corr
esta
níve
pon
fas
trans
ca
quota
minim
houv
alto
facilm
ating
nov
zer
exte
sobre
ger
super
tax
prec
interm
produzir
finance
organiz
interes
lucrativ
precisa
reconh
surpre
provide
respon
autoss
rentab
trabalh
progre
acresc
estabe
origin
centra
estrat
contín
optar
consu
bene
conso
existe
agra
direc
corre
defin
eleva
esta
méto
surg
chef
este
mud
part
trag
ado
intu
nov
efic
ben
nis
par
ap
tira
dit
demm
accion
taç
filoso
ded
simulta
era
cond
exter
repara
cumpri
indireta
admini
aspect
desnec
cumpr
endibil
optimiz
influen
insatis
certific
conseg
espec
corres
cobra
conclu
neces
arma
comp
obser
vejam
acaba
comé
corre
situa
bene
visto
cont
ofer
podi
acab
acçõ
ctor
ger
inic
stoc
aca
evit
ptic
ge
linh
enfo
qualid
tard
segui
pen
importa
possibi
condic
empre
crescim
deten
econó
partic
execu
alcan
expan
cump
poss
dese
man
pala
rega
exte
lider
triun
reco
sint
soci
cap
just
mo
fac
pap
fon
agi
sentim
baseiavend
estive
relacio
stakeho
núm
influên
reduz
esta
term
irem
dire
contr
reso
resp
rapidam
verifiq
inicia
ger
exceder
gestore
conseg
implem
indivídu
aumen
desenv
soburd
satisfa
aprove
caract
parâm
respei
analis
contem
produ
prepa
traba
adqui
proble
const
prod/
aleat
enten
fabric
máxim
optim
princ
proje
resum
atend
descu
preoc
relev
acen
ener
previ
redu
renta
acab
asse
cieda
dom
dest
posiç
circu
inse
efet
bas
faze
cau
lógi
ltim
vim
che
fora
juro
bai
jun
linh
pas
flux
inic
da
indi
tende
lufa
financei
conce
esta
demming
evide
satisfa
dispo
atin
atra
minimi
repercu
conside
manté
minim
encan
periód
econo
utiliza
devo
máqu
acess
acon
enca
contí
cilida
diret
maio
cheg
lacu
ofer
capa
fabr
esca
cois
frac
terã
torn
bas
cla
cria
ero
fie
fal
rend
ren
pos
inspec
fican
gesto
importa
conseg
utiliza
estam
explic
secto
gara
ativ
fize
iria
ira
loc
lot
quota
suje
dur
merc
297
processo
quantid
compet
elimina
aprove
denom
progre
angar
determ
marke
diminu
funcio
vende
atuali
traba
comp
conqu
destin
dimen
inves
produ
exact
crédi
baixo
deslo
prod
rigor
base
divu
funç
tare
inpu
pass
fund
sup
fica
exis
fác
tinh
tim
amo
inspe
and
esti
cut
relativam
determ
concen
envolv
estrutu
plenam
proven
priorid
equip
eficie
meno
orige
men
taxa
presta
entan
lança
reduz
apresen
entrev
audito
estipu
favorá
trans
form
indire
gera
espe
dáfat
lei
satisfe
tecnol
tem
torna
também
313
decisão
conseg
inputs/
ponder
param
constit
extend
econó
evitan
prese
eame
relaç
extre
toma
ava
qua
difíc
falh
ind
obv
ref
atr
cas
próp
forma
susten
contrib
comple
diferen
interpr
evide
percu
relaci
digam
inves
mane
cons
exclu
alcan
assíd
dura
refle
amdúv
jus
var
consis
procu
traz
aume
desen
foca
outp
nive
melhor
compet
caracte
instituc
possibi
centra
fazend
improv
norma
contínu
melhor
relativa
object
reflect
conclu
possib
inlfue
natur
origin
passi
outpu
pesso
tinha
inter
políti
próp
volu
aplic
dest
visto
dep
dev
zaç
aten
rigo
continu
possível
determ
efeit
meio
tare
situaç
certe
autorid
plen
reduç
leva
respons
aproxim
multidim
relacion
operac
traduz
benefí
perten
adequ
atribu
contro
comp
confe
fabric
explíc
refere
utiliza
avalia
talen
circu
difus
maté
activ
cam
quei
torn
com
cent
méd
viço
nes
pos
prim
ona
defen
dua
qualid
produtivida
desperd
denom
conseq
diminu
máxim
feedba
perda
eme
vista
funç
pon
cha
igu
classifi
quali
produto/
activid
mode
trabalho
enfa
investime
desper
criaçã
vezes
vai-s
feito
tenh
físic
aqu
divis
aumenta
leva
altam
sinón
verifi
men
equipa
interna
aprend
contro
depend
natura
efectu
aborda
conjun
entida
conso
aplica
espec
requi
aplic
refer
envo
agim
viáv
pas
conf
tradu
princí
segundo
organ
possí
afirm
nov
exemp
melhor
255
con
melhor
repet
defin
utiliz
men
alte
dire
utili
ver
per
vic
superi
acabar
pagáss
entrav
necess
signifi
benef
preju
méto
levav
técni
efeit
ganh
divid
eny
grá
pag
ser
cois
falên
geran
importante
parte
ideia
boa
estão
rea
peg
interp
autor
atra
fact
diminuição
departa
certific
denom
directa
energé
relacio
ambie
percep
repres
tornan
aperc
acoss
difere
distinç
exten
univer
desta
atrac
have
plane
politi
públi
retor
aplic
entre
refle
vist
agi
valu
aspe
mon
produ
nunc
devoluçõe
human
compe
0.0
341
274
cheg
vam
efectu
apli
dade
cadeia
valia
explicit
aumentan
estrutu
contr
razã
novam
demi
dois
actualm
amp
totalid
acord
prátic
tiver
eficiência
qualifica
devido
dess
haver
sendo
nest
positiva
reativa
necessá
resumi
negativ
associ
portan
defini
conce
benef
existi
técni
acti
usa
capacid
implícita
então
positi
definiçã
auto
pode
existe
260 recursos
apresen
permit
devepodefinal
prémio
265
conhecim
adequa
visand
gera
correspo
membr
251
baseada
sucesso
quer
longo
sociedade
participaç
prazo
tendo
associa
através
permite
aumento317 característic
existir
normas
276trabalhado
304
facto
conceito
278
284
282
314
247
332
315
338
343 296
273
positiva
291
valor
253relação
312
320
306
294
261
maior
248
serviço
342
345
271
produto
311
329
-5.0
281
rendibilidade
dade
-40
-30
-20
245
-10
Figura 3.9.5.1. Biplot correspondente às duas primeiras dimensões do espaço semântico
construído com a totalidade das respostas de 187 estudantes a uma questão relativa
à qualidade total. Examinando a figura anterior parece que a estrutura global das respostas se pode
descrever em função de três grupos associados a questões conceptuais (textos do grupo que
aponta para o canto superior esquerdo), textos associados a questões de eficiência (grupo
do centro) e testes ligados a questões operacionais e resultados (grupo que aponta para o
canto inferior esquerdo). Isto é, o biplot anterior transmite a estrutura subjacente à
totalidade da informação associada às 187 respostas.
145 Usando agora apenas 85 destes textos, escolhidos ao acaso, para construir um
espaço semântico que retrate a linguagem dos estudantes – e nos quais poderiam também
ser incluídas algumas respostas elaboradas pelo professor – obtém-se uma matriz de
frequências X (n, p) com n= 1303 palavras e p= 85 textos.
Procedendo à decomposição em valores e vetores singulares, verifica-se que a
dimensão d necessária a obter 90% da informação é d= 41 e que um biplot correspondente
às primeiras duas dimensões absorve 46% dessa informação.
Na figura 3.9.5.2. apresenta-se esse biplot, constatando-se que tem uma estrutura
muito semelhante à do biplot construído com a totalidade (187) dos textos de resposta.
Examinando o biplot do ES, constata-se que não se notam distorções estruturais ou
enviesamentos associados a textos específicos, podendo assumir-se que este biplot é
representativo da estrutura do significado da totalidade da informação.
Os restantes 187 – 85= 102 textos de resposta são em seguida usados para construir
(em função do valor do parâmetro proporção) as amostras de treino (AT) e de teste (T) a
validar.
Na figura 3.9.5.3. apresenta-se agora o biplot correspondente ao ES retido e sobre
o qual foram projetadas as amostras AT e T.
Examinando o biplot da figura 3.9.5.3. – usando as facilidades incluídas no
programa PAET – verifica-se que as respostas estão na maior parte dos casos relacionadas
com a parte do espaço semântico (ES) ligada às questões operacionais e dos resultados da
empresa.
146 empresa
produtos
277
5.0
321
270
326
238
333
303
esforço
processos
300
337 expectativa
340
298
operações
melhoria
traduz
225
243
filosofia
base
satisfação 239
226
264
230
324
222
250299
249
286
contínua
280
organização
total
289
0.0
287
259 335
modo
328
302
252
288
221 322
poder
283
301 242custos
negócio
satisfazer
344
268
produção
327
serviços
continua
235
295
concorrente
inovação
sempre
novos
318
melhorar
319
292
aumentar
244
rentável
ento
crescer
medida
qota
confiança
baixar
293 assim
nível
ainda
elevado
setores
254 preços
ramo
tambem
deve
obter
investir
desenvolvim
objetivo
basicamente
caso
sejam
começa
concorrência
reduzir
serão
expetativas
logo
positivos
atingir
resultados
podem
venda
preferência
ficar
rentabilidad
constante
256 330conseguir
funcionários
contrário
mantendo
admitir
prestados
satisfazendo
gostam
tenta
fica
topo
superar-se
bens/serviço
benéfico
exercendo
excederem
empenho
servir
merece
obrigatoried
cota
segue
fornecendo
intermediári
leque
assegurand
crescente
atingindo
devemos
retirar
melhorando
grau
irão
dando
diretamente
pressão
próprias
imagem
tratando
teorias
trar
provar
alcançando
defendem
requisitado
aprefeiçoar
apostar
equilibrada
escolha
ente
encontro
constantem
rviços
diminuir
colaborador
produtos/se
produzidos
consiste
operação
elevadas
objetivos
ganhar
devem
297 necessidade
meio
sistema
forte
atividade
323 241 258
tenham
voltar
teoria
positivas
espaço
mercado
objectivo
deste
desse
disso
primeiro
além
agradar
cresce
tentar
ultrapassad
toca
reconhecida
perceber
partir
operando
nome
evolução
ganha
retorno
estipulados
prespetiva
aberto
informação
importa
alteração
adoptar
adquir
reacções
descreve
aplicação
apresentand
apresente
organizaçõe
serviços/pro
tempo
dutos
e/ou
vendidos
vender
defeitos
pretende
trabalha
desenvolver
envolvente
entrar
pelna
multas
nºao
oferecer
aumentarem
aumentava
benéfica
tecnologia
destina-se
destina
tendem
seja 307
melhorava
memória
fortemente
devia
prespectivas
restantes
expandir
falha
ablidade
indivíduos
vendido
comercializa
colocando
chegam
altíssimos
admirado
probabilidad
tiverem
reclamações
acrescidos
alcançado
aparecer
ajuda
definia
trabalhar
potenciais
rege
apresentar
apostassem
superar
gerar
obtendo
ocorrer
destes
satisfaz
continuada
materiais
mair
abaixo
prejudicado
vantagens
venderem
zeros
promover
poderem
tipo
reputação
alargar
tornando-se
compram
rendabilidad
aperfeiçoam
perpectiva
nivel
exigido
aumente
objectivos
cria
resumindo
melhor
melhoramen
dispostos
durante
virtuoso
maxima
fidelizado
voltada
dizer
dizia
preferências
coloca
focadas
essencialme
professor
rentibilidade
encantalos
entendiment
perfeição
original
negativa
modelo
operacional
exigencia
setor
normal
aspectos
detetar
resume-se
fator
gostos
grais
diminuirão
distingue
direção
divide
preocupa-se
visível
utilize
f«gera-se
estabilidade
diz-nos
finais
defende
ultrapassan
pormenor
concretizar
possibilidade
compras
comprir
conseguindo
passando
excedem
satisfeitos
melhores
criando
desses
maximizar
investigação
curto
dinheiro
planeament
cliente/cons
agrada
traçados
umidor
aperfeiçoa
deles
conseguirem
consequênci
consigam
266
motivada
operadores
suma
mínima
aumentarmo
aumentou
empregar
funcionamen
aumentamos
aumentamo
contudo
evidenciar
inspecções
levando
continuo
lucro/rendibil
maio
fazer
divulgar
podemos
vontade
acontece
acima
incide
idade
essêncialme
anização
produz
empresa/org
entende-se
entra
pdca
oferecemos
executar
levar
distinguir
certificado
propria
estamos
procediment
definidos
dentro
sustentáveis
opera
oferta
caminho
exigente
neste
milha
atualmente
atua-se
frente
controla-se
diferença
destacar
satisfaça
saída
manter
expetativa
planeia-se
vendê-lo
verifica
faz-se
acessíveis
acabado
produtivos
terem
competitivid
cofres
despesas
deixar
conformidad
apontar
empresariais
consumidore
consegue-se
conseguem
encantado
permitem
certeza
superando
negócios
organizacion
opta
nfase
obtida
melhorias
continuar
primas
visa
matérias
defeito
quantidades
adquirir
unir
rentavel
querer
apesar
316
minimixar
momento
baratas
diminuem-se
eficiencia
eficaz
margem
medir
grande
houver
decida
principio
principal
utilizar
zero
adaptando
reconhecime
reclamação
recolhendo
receitas
quebras
provoca
tornar
tradu
reformuland
desempenho
consumidor
enquadrar
permanecer
paras
pagara
gera-se
gestao
cause
significa
superamos
taxas
talvez
mias
baseando
evoluem
emprego
tendência
gastou
controvérsia
controlos
atinge-se
estudo
elementos
linearmente
interesse
ligados
lança
vida
existem
proporcional
introduzir
humana
estam
utilizadores
tentando
facilmente
ficaram
focada
zela
adquirem
trespassam
produto/be
transpõe
ponto
provocar
rectificar
agrade
agrado
espetativas
traduzir
comprar
desejada
esforços
enquanto
mpra
organizar-se
originando
surpreender
surgido
necessitand
motivação
optaresm
organiza
gera-nos
benefício
caia
superadas
nisso
aumentada
correstivas
baratas/co
correctas
avanço
correr
tecnológico
tecnologias
sobretudo
situações
objectivos/m
funciona
justo/diminui
contínuos
controla
atender
atingido
evidencia
estratégia
etas
efectivamen
diminui
efqm
destruturad
melhorada
melhoras
novas
nova
exterior
fase
investe-se
liquidação
linha
contem
dirige
dito
tenha
pertende
planeia
certificada
lucros
lugar
fidelizar-los
existente
proporciona
acções
impacto
hoje
declínio
estabelecido
chegando
climax
filosofias
próprios
amigo
alta
precisament
progressos
cinja
provocando
rentabilizar
reconhecer
ramos
demmings
descuidar
de-obra
definida
espaços
eram
conseguinte
consiga
246
parta
originar
partido
gerir
centrada
busca
bens
subir
tação
taxa
autossusten
beneficia
caro
simultaneam
método
funcionar
aumenta
aumentam
correcta
elevada
seguinte
interessadas
intermédias
continuamen
aspectos/se
ctores
eficácia
responsávei
experimenta
intuíto
contam
apte
estarem
estejão
estar
direcção
vantagem
vejamos
chefias
lucratividade
foco
accionistas
acabar
importantes
inicial
estabelece
prestígio
procurar
tirar
providencias
acrescenta
ambiente
agradem
adote
traduz-se
ultrapassar
precisa
tragam
completame
conclui-se
relaciona
descer
conduzir
equilíbrio
esforce
consumir
consome
pensar
mudar
motor
participam
palavra
papel
gere
certificação
capital
tardias
stocks
optimização
oferece
geram
executado
empregados
sociais
sintam
observada
evitar
sentimento
número
insatisfação
lideram
justas
justos
cumprimento
contínuas
cumpriment
armazens
cumprido
estiverem
económico
detentores
desta
maneira
expansão
externas
externo
iremos
comércio
fonte
vistorias
qualidade/r
administrativ
acabando
dedica
triunfar
cobranças
ciclo
financeiros
recolhe
ptica
agira
desnecessár
podiam
condicionam
compra
reparações
regalias
deseja
específicas
erros
empresarial
conseguém
endibilidade
enfoque
período
partes
padrão
obtenha
ocorrem
elevá-la
atendido
atravez
evidente
interessados
logística
contempor
determinado
economia
vende
vimos
ltima
propõe
indiretament
influenciam
influência
estando
prejuízo
face
alterações
aleatório
afectado
altos
problema
cilidade
reacção
realiza
rendi
desfazer-se
possa
resolver
especial
escala
consideravel
passo
subsistemas
caracteristic
causa
stakeholders
gerais
soburdinado
controlar
assenta
criar
efetuar
satisfatório
explica
liderar
lógico
juros
junto
linhas
daca
estava
disposição
diretos
vendas
pessoas
verifiquem
visão
acentava
acaba
indivíduo/so
grandes
iniciando
domínio
principais
fluxo
alcançar
ciedade
circuito
relacionada
rentabiliz
analisando
desenvolveu
trabalham
trabalhava
posição
condições
conseguimos
aproveitand
empresas
constatar
parâmetros
parágrafo
gerido
capacidades
capaz
minimizar
necessita
optimizar
baseia
obtenção
diminuem
tendencia
serem
inserido
ativa
satisfaçam
resumida
inunciada
getão
direta
preparada
preocupa
respeitados
respeita
chega
lufa-se
ltimos
foram
vital
implementar
importância
indice
inicio
podendo-se
prod/serv
previstas
termos
tima
chegou
adquiridas
projectos
projeção
cima
requer
rapidamente
reduzindo
renderem
reduzido
descurar
espectativas
concebidas
concepção
remete-nos
remunera
relevante
energico
constitui
partida
sujeita
níveis
ofereço
basta
atualidade
dimensão
destinado
sectores
rigorosa
menores
fornecedore
inspecção
lacunas
crescimento
contínuo
atinja
determinar
mantém-se
máquinas
maiores
fazem
iriam
iram
durar
plenamente
ficava
falar
fiel
aconteça
produtivo
prioridade
tinha
claro
amostra
repercutirem
rendável
conseguiram
eros
encantá-lo
encantar
periódicas
superior
exista
minimizando
minimizam
baixos
baseava
eliminação
mercados
funcionário
garantir
fundos
crédito
estruturada
evitando
formulou
fracos
local
estiver
disponível
devolvido
lote
investindo
utilizando
coisas
ficando
fabrica
acessível
progressiva
terão
timo
chegue
reconhecido
proveniente
angariando
andar
denominand
deslocar
trabalhado
torna
torne
produzida
produtor
quotas
concentrada
conquistar
apresentado
envolventes
percurso
operário
tarefas
supera
exactidão
funções
digamos
gestores
cutos
vendermos
prestado
competitiva
fácil
alcance
reflete
apenas
compra-lo
concluir
relativament
consegue
consideramo
conta
aproveitame
parametros
origem
passar
organizada
casa
obvio
auditorias
avaliar
exclusiva
tecnológica
atrás
difícil
extende-se
favorável
formas
fato
inputs/outpu
lançado
leis
cumprir
estipuladas
económica
eamento
presentes
luta
extrema
accionista
importancia
indiretos
decisão/plan
dá-se
próprio
qualida
ponderantes
transmite
tomada
posso
complement
recebe
referi
am-se
deixa
espelho
relações
entrevenien
constituinte
entanto
padrões
sustentabilid
surge
casos
obtidos
gera
justo
assíduos
criou-se
criou
diferenciand
marketing
maneiras
formação
falhar
interpretada
investigar
inerentes
gestor
inputs
duração
dúvida
pessoa
vamos
varia
certificam
certificar
administra
indica
procuram
tinha-se
trazem
financeira
fizer
quantidade
qualificar
designa
torna-se
posto
reduzidos
relacionar
render
equipa
consistente
313
origina
output
satisfeito
temos
utilizadas
depois
290 263devoluções
pertençam
originam
passiveis
multidimensi
natureza
operacionali
onal
centralizada
benefícios
campo
centra
talentos
tarefa
niveis
autoridade
aumentos
avaliada
exceder
exemplo
situação
objectivand
função
controlada
atribuição
atenção
efeitos
difusas
destas
rigor
melhorados
menor
institucionali
internas
levam
continuação
determinada
dever
vezes
responsabili
máxima
matéria
médio
normalment
fazendo
inlfuencia
duas
prima
competência
chave
fabricação
focaliza
volume
zação
qualidades
qualifica
adequada
activos
improvment
igual
defenda
procura
utilização
políticas
pontos
classificados
circulos
reflectindo
refere-se
redução
queixas
denominado
possibilitand
traduzir-se
possibilita
complexo
comprada
relaciona-se
relativamen
aplicar
desenvolve
conferem
aproximação
caracteriza
baixa
contribuem
meios
explícitas
aqui
plena
lucro
demming
269
mente
diminuindo
divisão
visto
actividade
equipament
perdas
organizar
outputs
passa
modelos
baseia-se
emente
sinónimo
criação
viço
maioria
havendo
feedback
físicas
possíveis
quota
consequent
enfase
naturalment
também
aumenta-se
controlamos
efectuamos
novo
internacional
viáveis
vista
investimento
tenho
feito
referido
agimos
desperdício
traduzam
requisitos
aplicamos
aplicada
específica
confere
aprendemos
envolve
entidade
consoante
pera
superiores
necessárias
pagássemos
beneficiar
significado
técnicas
métodos
serve
mentar
ganhos
melhorar/au
levavam
deve-se
directa
dividas
verificar
versa
vice
falência
acabaríamos
abordagem
grátis
prejuízos
utilizado
coisa
altamente
alterar
ideia
utiliza
repetitivo
consumo
entravamos
enyre
certificados
afirmar
desperdícios
produto/ser
definir
autores
souberem
simples
aumentando
atribuídos
seleccionam
estender
planear
visa-se
própria
abertas
produtividad
agir
esquecer
questão
quer-se
especializa
conjunto
considerar
importante
entender
229
existe
vai-se
perceptível
pega
boas
money
gerando
nunca
controlo
atractivo
aspecto
atraz
destacam
efectuar
efeito
retornar
máximo
extensível
interpreta
custo
dade
directament
distinções
pode
value
certificações
factores
vistas
produtivas
públicas
ambientais
acossiado
universais
politicas
relacionado
representa
refletir
razão
aperceber
denominada
tornando-o
aplica-o
energéticos
entrega
chegar
aplica
pagar
231
fabrico
competitivo
reas
devido
valia
longo
qualificados
estrutura
eficiente
novamente
dois
princípio
explicitas
humanos
produzir
departamen
ampla
totalidade
então
segundo
actualmente
processo
negativame
beneficio
técnicos
associados
resumidame
existindo
acordo
activa
positivament
conceitos
pode-se
usar
332cliente
parte
corresponde
marca
haver
tiver
trabalho
portanto
práticas
nesta
definição
depende
341
capacidade
autor
recursos
permitir
prazo
definido
apresenta
diferencia
visando
factor
final
positivo
dessa
implícitas
sendo
eficiência
adequação
deming
conheciment
227
geral
membros
forma
reativadiminuição
baseada
possível
255
excelência
tendo
estão
preço
necessário
cadeia
participação
274
251
247
265
associada
260sociedade
sucesso
prémios
quer
leva
através
permite
282
228existir
236
314
característic
338
aumento
facto
positiva trabalhador
normas
304
317276
343
284
273
relação
315
278
valor
conceito
296
294
253
291
224
320
240
237312
232
306
345
261
248
serviço
342
maior
271
329311
223
-5.0
rendibilidade
produto
281
245
-10.0
-30
-20
-10
0
10
Figura 3.9.5.2. Biplot do Espaço Semântico correspondente a 85 dos textos dos dados GESTÃO. 147 clientes
gestão
empresa
277
5.0
produtos
321
270
326
298
264
337
340
333
300303
212
238
processos
esforço
131
139
146
operações
175
250
152
158
163
226
141197
melhoria
222
299
expectativa
235
135
147
249traduz
188
286
280
172
209
206
165
satisfação base 185
198
203
225
243
filosofia
183
191
302
324
217
289
259
total
192
241
242
164
287
335
219
150
modo
153
202
230
211
182
contínua
196
328
207
poder
149
178
244
159
239
216
283
205
129
221
174
assim 176
179
160
148
252
186
concorrente
154
171
301288318 produção
180
181
236
189
168
satisfazer
161
136
mercado
218
268
187
custos344
201
continua
170
295
223
crescer
qota
confiança
serviços
137
269
nível
195
143
elevado
baixar
melhorar
setores
144
ento
319
conseguir
sempre
145
ramo
desenvolvim
rentável
tambem
134
negócio
sejam
basicamente
rentabilidad
155
231
objetivo
200
começa
190
investir
inovação
atingir
concorrência
ficar
reduzir
logo
objectivo
208
positivos
venda
funcionários
232
229
consiste
preferência
expetativas
258 293 316
256 330necessidade
preços
mantendo
objetivos
serão
resultados
imagem
tenta
173
topo
obter
satisfazendo
130
rviços
equilibrada
prestados
produtos/se
intermediári
tratando
trar
requisitado
assegurand
bens/serviço
benéfico
excederem
exercendo
merece
fornecendo
teorias
segue
servir
alcançando
aprefeiçoar
atingindo
melhorando
defendem
crescente
dando
cota
irão
obrigatoried
próprias
provar
superar-se
retirar
diretamente
empenho
encontro
escolha
produzidos
pressão
diminuir
devem
aumentar
leque
ganhar
214
colaborador
primeiro
devemos
gostam
fica
254
deste
empresas
comercializa
meio
sistema
teoria
266
140
constante
215
tenha
dinheiro
matérias
novos
tentar
atividade
162
positivas
primas
caso
forma
apresentar
além
cresce
nome
disso
agradar
ultrapassad
gerar
toca
reconhecida
323
pessoas
vender
desse
informação
importa
desenvolver
descreve
grau
apresentand
apresente
aplicação
alteração
estipulados
evolução
defeitos
aberto
reacções
retorno
operando
partir
adoptar
adquir
perceber
entrar
e/ou
prespetiva
restantes
vantagens
vendidos
aumentava
reputação
benéfica
chegam
estabilidade
melhorava
medida
serviços/pro
169
237
alcançado
ablidade
definia
rege
ente
admirado
pelna
dutos
constantem
colocando
deve
melhores
seja 307
ainda
envolvente
probabilidad
modelo
rendabilidad
objectivos
tipo
operação
podemos
organizaçõe
pretende
detetar
visível
ultrapassan
aspectos
fator
serem
setor
151
negativa
distinguir
distingue
divide
conseguirem
durante
pormenor
compras
coloca
vendas
venderem
traçados
utilize
zeros
exigencia
exigido
lucros
maximizar
mair
gostos
grais
satisfeito
focadas
criando
defende
cria
promover
obtendo
resume-se
138
satisfaz
tornando-se
alargar
operacional
partida
conseguindo
encantalos
poderem
elevadas
dizia
compram
concretizar
comprir
preferências
preocupa-se
professor
destes
virtuoso
impacto
voltada
maxima
rentibilidade
fazer
essencialme
ganha
abaixo
fidelizado
melhoramen
ocorrer
nivel
resumindo
suma
perpectiva
entendiment
contrário
prejudicado
motivada
aumentou
finais
funcionamen
perfeição
empregar
diz-nos
dizer
produz
procura
aumente
baratas
fornecedore
agrada
acima
preço
anização
materiais
incide
idade
trabalhar
essêncialme
lucro/rendibil
levando
contudo
operadores
negócios
empresa/org
continuo
entra
verifica
executar
dentro
grande
alta
definidos
receitas
propria
normal
opera
saída
pdca
procediment
introduzir
motivação
vida
unir
marca
mínima
mias
humana
traduz-se
traduzir
vontade
apesar
aumentarmo
baseando
existem
evoluem
linearmente
desejada
ligados
rentavel
terem
aumentamos
aumentamo
246
193
213
reconhecido
oferecemos
obtida
gastou
superior
superando
permanecer
querer
adquirir
elementos
eficácia
esforços
diferença
vendê-lo
despesas
destacar
caminho
manter
exigente
levar
frente
forte
cliente
atualmente
estar
oferta
satisfaça
sustentáveis
empresariais
acessíveis
organizacion
quantidades
conseguem
cofres
competitivid
produtivos
expetativa
milha
vantagem
voltar
excelência
apontar
factores
faz-se
custo
defeito
deixar
reclamação
204
atua-se
ramos
nfase
planeia-se
permitem
controla-se
continuar
opta
encantado
consegue-se
consumidor
conformidad
principal
principio
diminuem-se
investe-se
mpra
minimixar
margem
utilizar
aperfeiçoam
atender
aumenta-se
baratas/co
caro
desempenho
lucro
de-obra
lugar
remunera
grandes
apostar
aumentada
cinja
justo/diminui
melhoras
medir
reconhecer
recolhendo
propõe
290 263 espectativas
tempo
período
reformuland
provoca
provocar
enquadrar
dirige
planeia
podem
controla
conseguinte
organiza
quebras
consiga
adaptando
eficiencia
interesse
visão
trabalha
tradu
zela
amigo
cause
estabelecido
estudo
cumprir
lança
gera-se
gestao
atinge-se
melhorada
paras
superar
superamos
tendência
continuamen
controvérsia
agrade
agrado
operário
talvez
emprego
enquanto
consumidore
condições
produto/be
interessados
minimizar
trespassam
utilizadores
transpõe
avanço
caia
desfazer-se
descuidar
gera-nos
houver
ambiente
altos
chegando
ciclo
espetativas
facilmente
focada
estam
fase
liquidação
logística
proporcional
rectificar
obtenha
foco
167
atingido
declínio
provocando
necessitand
próprios
padrão
realiza
pagara
níveis
tecnológico
dispostos
continuada
controlos
correr
quota
adquirem
efectivamen
elevá-la
ponto
completame
climax
especial
espaços
erros
direcção
intuíto
intermédias
responsávei
interessadas
autossusten
exterior
trabalham
tragam
zero
apte
centrada
benefício
chefias
bens
financeiros
estabelece
estratégia
existente
lucratividade
demmings
método
rentabilizar
novas
nova
gerir
tirar
filosofias
estarem
estejão
definida
reconhecime
proporciona
progressos
mudar
partes
parta
tecnologias
superadas
sobretudo
correcta
agradem
providencias
originando
partido
nisso
surpreender
surgido
tação
taxa
dito
contínuos
consumir
accionistas
adote
organizar-se
optaresm
elevada
acrescenta
eficaz
consome
produzir
precisament
precisa
influenciam
insatisfação
inicial
vejamos
vistorias
certificação
certificados
externas
desnecessár
reparações
indiretament
aspectos/se
armazens
beneficia
evitar
cumprimento
cumpriment
ctores
linha
geram
gere
seguinte
simultaneam
específicas
dedica
necessita
observada
oferece
situações
stocks
correctas
acabando
acabar
acaba
ptica
tardias
endibilidade
empresarial
enfoque
podiam
correstivas
contam
administrativ
acções
optimização
qualidade/r
conseguém
cobranças
comprar
comércio
conduzir
conclui-se
eram
detentores
motor
vende
importantes
triunfar
capital
externo
face
executado
estiverem
expansão
maneira
deseja
baseia-se
crescimento
cumprido
lideram
justos
recolhe
fonte
sentimento
sintam
alcançar
justas
participam
palavra
regalias
papel
sociais
agira
empregados
pensar
económico
condicionam
possibilidade
possa
influência
termos
estando
iremos
reduzindo
número
stakeholders
direta
relacionada
vimos
desta
respeitados
resolver
respeita
implementar
indivíduo/so
iniciando
inserido
inicio
verifiquem
analisando
caracteristic
baixa
fabrico
desenvolveu
descurar
indice
trabalhava
assenta
aproveitand
ciedade
chegou
baseia
causa
chega
exceder
financeira
evidente
fazem
fluxo
demming
liderar
lufa-se
lógico
ltimos
linhas
máximo
relevante
rentabiliz
reduzido
gestores
gerido
gerais
foram
aleatório
aumentam
atendido
circuito
227
estava
juros
junto
daca
rapidamente
parâmetros
projectos
projeção
soburdinado
satisfaçam
satisfatório
tendencia
resumida
disposição
controlar
acabado
entender
energico
domínio
contempor
conseguimos
adquiridas
acentava
optimizar
passo
constatar
posição
efetuar
concebidas
concepção
preparada
preocupa
produtivo
problema
principais
previstas
prod/serv
devolvido
minimizando
minimizam
inspecções
utilizando
capaz
fabrica
mantém-se
máquinas
maioria
repercutirem
cilidade
chegue
atinja
basta
falar
lacunas
criar
render
rendi
fracos
gestor
terão
periódicas
torne
torna
atravez
claro
ficando
fiel
ofereço
disponível
diretos
encantá-lo
encantar
contínuo
consideravel
acessível
aconteça
economia
coisas
escala
posso
eros
iram
explica
importancia
utilizadas
fizer
maiores
sectores
ativa
estamos
iriam
garantir
conseguiram
diminuem
dimensão
determinar
investindo
destinado
inspecção
inputs
vendermos
angariando
andar
deslocar
marketing
trabalhado
aproveitame
amostra
baixos
baseava
fácil
exactidão
estiver
exista
denominand
mercados
local
lote
rendável
funcionário
formulou
funções
fundos
tinha
timo
atualidade
ficava
crédito
cutos
297
sujeita
supera
quotas
rigorosa
tarefas
divulgar
consideramo
quantidade
passar
eliminação
durar
conquistar
competitiva
compra-lo
progressiva
produzida
produtor
processo
determinado
estruturada
menores
menor
relativament
proveniente
taxas
plenamente
origem
eficiente
envolventes
equipa
concentrada
prestado
prioridade
indiretos
transmite
formas
satisfeitos
apresentado
estipuladas
favorável
espelho
fato
lançado
dá-se
leis
reduzidos
gera
auditorias
entanto
entrevenien
difícil
extende-se
inputs/outpu
avaliar
extrema
indica
casa
evitando
falhar
formação
torna-se
tomada
atrás
313
decisão/plan
parametros
relações
próprio
referi
obvio
tecnológica
temos
também
qualida
ponderantes
económica
eamento
consegue
constituinte
presentes
diferenciand
digamos
interpretada
investigar
trazem
varia
am-se
exclusiva
maneiras
assíduos
evidencia
percurso
alcance
justo
relacionar
reflete
origina
sustentabilid
duração
contribuem
consumo
dúvida
complement
consistente
procuram
dever
internas
destas
institucionali
inlfuencia
visto
improvment
volume
zação
atenção
caracteriza
centralizada
aumentos
fazendo
desenvolve
depois
tinha-se
aplicar
melhor
melhorados
normalment
objectivand
reflectindo
própria
relativamen
focaliza
natureza
niveis
originam
outputs
output
rigor
pessoa
continuação
contínuas
passiveis
políticas
competência
concluir
possibilitand
possibilita
determinada
meios
situação
tarefa
efeitos
possível
difusas
viço
explícitas
responsabili
utilização
autoridade
avaliada
certeza
campo
fabricação
matéria
traduzir-se
aproximação
benefícios
centra
defenda
levam
médio
redução
tornar
atribuição
circulos
multidimensi
relaciona-se
operacionali
refere-se
neste
onal
pertençam
plena
controlada
queixas
talentos
duas
conferem
adequada
qualidades
complexo
comprada
compra
activos
posto
prima
diminuindo
vista
desperdícios
igual
chave
denominado
máxima
feedback
função
perdas
classificados
consequent
emente
qualifica
pontos
produtividad
investimento
modelos
vezes
desperdício
trabalho
vai-se
aqui
físicas
feito
criação
tenho
enfase
divisão
actividade
produto/ser
verificar
altamente
leva
mente
sinónimo
aumenta
internacional
viáveis
requisitos
traduzam
depende
aprendemos
aplicamos
aplicada
referido
abordagem
naturalment
controlamos
agimos
passa
entidade
conjunto
confere
efectuamos
envolve
consoante
equipament
específica
exemplo
novo
segundo
melhorias
224
afirmar
organizar
possíveis
princípio
directa
vice
utilizado
utiliza
versa
repetitivo
alterar
melhorar/au
definir
mentar
255
conta
pera
métodos
grátis
beneficiar
falência
levavam
ganhos
significado
serve
pagássemos
necessárias
pagar
superiores
técnicas
dividas
acabaríamos
entravamos
efeito
coisa
enyre
prejuízos
importante
ideia
boas
gerando
estão
parte
diminuição
diferencia
interpreta
money
vistas
extensível
destacam
universais
value
aperceber
certificações
autores
departamen
denominada
representa
havendo
aspecto
ambientais
aplica-o
factor
significa
directament
perceptível
tornando-o
atractivo
atraz
relacionado
refletir
reas
retornar
distinções
planear
agir
públicas
energéticos
politicas
acossiado
pega
entrega
produtivas
nunca
devoluções
humanos
competitivo
vamos
aplica
chegar
240
dade
efectuar
valia
cadeia
explicitas
aumentando
estrutura
razão
controlo
novamente
deming
dois
actualmente
ampla
totalidade
tiver
228
acordo
práticas
devido
dessa
haver
sendo
qualificados
eficiência
341
nesta
usar
associados
beneficio
existindo
definido
reativa
necessário
resumidame
técnicos
negativame
activa
positivament
portanto
conceitos
capacidade
implícitas
282
então
positivo
definição
autor
existe
pode
260 recursos
deve-se
apresenta
314
permitir
final
pode-se
prémios
265
visando
conheciment
adequação
247
geral
baseada
membros
274
251
corresponde
sucesso
quer
longo
332
315
sociedade
participação
prazo
associada
tendo
através
338
permite
aumento317
322
organização
292
327
0.0
característic
existir
normas
276trabalhador
304
facto
conceito
278
284
343 296
273
positiva
291
valor
253relação
312
320
306
294
261
maior
248
serviço
342
345
271
produto
311
329
-5.0
281
rendibilidade
-20
-10
0
10
Figura 3.9.5.3. Espaço Semântico de 77 textos de Gestão sobre o qual foram projetados os
restantes (AT e T). A tabela seguinte – tabela 3.9.5.1. – apresenta os dados de validação dos resultados
correspondentes aos parâmetros 0.75 para a proporção da amostra de testes (AT) e k= 5.
148 CL.SYS CL.PROF
54
50
38
20
55
50
57
50
54
50
35
50
35
25
58
60
52
60
28
0
34
15
25
0
57
50
41
40
33
40
54
60
43
40
31
40
50
60
50
50
32
30
66
75
60
40
58
40
59
50
Tabela 3.9.5.1. Validação do classificador para 0.75 da AT e k= 5 vizinhos a considerar no cálculo
ClSys. Valores de ClSys comparados com os valores reais ClProf. Constata-se que, para estes valores experimentais – ver à frente a razão desta
escolha – obtém-se um coeficiente de correlação (ClSys, ClProf) de 0.781 – largamente
significativo.
A figura 3.9.5.4. contém uma reta de regressão construída para este valor usando
os valores dos pares (ClSys, ClProf), verificando-se uma qualidade (R2= 0.61) razoável
para predizer ClProf em função de ClSys no contexto de uma avaliação contínua na sala de
aula (não para atribuir uma nota com consequências administrativas).
149 CL.PROF 80
y = 1.1921x ‐ 13.467
R² = 0.6096
70
60
50
40
CL.PROF 30
Linear ( CL.PROF )
20
10
0
0
20
40
60
80
Figura 3.9.5.4. Reta de regressão de ClProf em função de ClSys para os parâmetros (0.75, 5). Na tabela seguinte podem ver-se uma ANOVA destes valores, obtida com o SPSS.
ANOVAb
Model
1 Regression
Sum of
Squares
4934
1
Mean
Square
4934
137,391
df
Residual
3160
23
Total
8094
24
F
35,912
Sig.
,000a
t
-1,415
Sig.
0,17
5,993
0
a. Predictors: (Constant), Clsys
b. Dependent Variable: ClProf
Coefficientsa
Unstandardized
Coefficients
Model
1 (Constant)
Clsys
B
Std. Error
-13,467
9,516
1,192
0,199
Standardized
Coefficients
Beta
0,781
a. Dependent Variable: ClProf
Tabela 3.9.5.2. Árvore dos valores. 150 Face a estes resultados, convém ainda testar as hipóteses de que as duas séries de
valores (ClSys e ClProf) vêm da mesma distribuição e se vêm de populações com a mesma
média.
A tabela 3.9.5.3. apresenta o resultado do teste de Kolmogorov-Smirnov para
comparar duas amostras, concluindo-se que não há diferenças significativas (nível 0.01)
entre as distribuições de origem de ClSys e ClProf.
Test Statisticsa
Most Extreme Differences
Notas
0,253
Absolute
Positive
Negative
0,131
-0,253
0,894
Kolmogorov-Smirnov Z
Asymp. Sig. (2-tailed)
0,4
a. Grouping Variable: Sys_Prof
Tabela 3.9.5.3. Clsys e ClProf têm a mesma distribuição. Usando o método da ANOVA implementado no SPSS, constata-se que não há
diferença significativa entre as médias das suas populações ClSys e ClProf ao nível de
significância 0.01 – ver tabela 3.9.5.4.
ANOVA
Notas
Between Groups
Within Groups
Sum of Squares
317,222
11508,458
Total
11825,68
df
1
48
Mean
Square
317,222
239,76
F
1,323
Sig.
0,256
49
Tabela 3.9.5.4. Comparação de médias das duas amostras de valores ClSys e ClProf. Finalmente, a figura seguinte, obtida com EXCEL – figura 3.9.5.5. – parece sugerir
que um modelo mais adequado para predizer os valores de ClProf conhecendo os de ClSys
fornecidos pelo sistema implementado (PAET) é um modelo quadrático a que corresponde
R2= 0.645 um pouco melhor.
151 CL.PROF 80
y = ‐0.0317x2 + 4.035x ‐ 72.73
70
R² = 0.6454
60
50
40
CL.PROF 30
Polinomial ( CL.PROF )
20
10
0
0
20
40
60
80
Figura 3.9.5.5. Ajustamento dos dados (ClSys e ClProf) usando um modelo quadrático. A figura 3.9.5.6. contém os resultados das experiências conduzidas com estes
dados variando o valor dos parâmetros (Percentagem para AT, Número de Vizinhos). Para
cada par de valores é apresentado o coeficiente de correlação (ClSys, ClProf) para k= 1, 2,
…, 8 e percentagem da AT= 50%, 60% e 70% constata-se que a melhor combinação (a que
conduz ao máximo do coeficiente de correlação) é o par (75%, 8) com o coeficiente de
correlação 0.78 objeto da análise anterior.
Nessa mesma figura pode ver-se o gráfico dos valores mencionados, constatando-se
que uma percentagm de 75% para a amostra de treino conduz, consequentemente, a valores
mais elevados do coeficiente de correlação (ClSys, ClProf).
k 1 2 3 4 5 6 7 8 50% 60% 0,211 0,381 0,433 0,529 0,585 0,563 0,624 0,662 0,301 0,572 0,438 0,511 0,536 0,550 0,592 0,567 75% 0,571
0,729
0,657
0,696
0,711
0,700
0,700
0,781
Figura 3.9.5.6. Obtém-se a correlação máxima r(Clsys,ClProf) para 75% e k= 8. Em síntese, esta experiência mostra que é possível obter classificadores utilizáveis
no âmbito da avaliação contínua, usando a metodologia da LSA/Biplot e dados
152 exclusivamente ao alcance dos professores na sua atividade letiva – o que constitui
evidência a favor de uma das questões fundamentais em investigação.
3.9.6. Estudo Comparativo das Classificações dos Professores.
Os testes do conjunto EXMIN foram classificados segundo regras fixadas num
protocolo publicado para cada um dos exames. Nesses protocolos são comuns regras a
respeito de correção linguística (Sintaxe, Morfologia, Pontuação, Ortografia, Léxico),
número mínimo de palavras, estruturação do texto, qualidade da fundamentação da
resposta e outras.
Os professores contratados são instruídos na aplicação destes protocolos sendo o
objetivo garantir homogeneidade de critérios e variabilidade mínima imputável a erros ou
desvios do corretor.
Em última análise, o objetivo é o de que, para um exame específico, dirigido a uma
população específica, os resultados, ainda que obtidos por corretores diferentes, tenham a
mesma distribuição de resultados. Isto é, os resultados específicos atribuídos por um
corretor específico devem ter características tais que, estatisticamente, não se distingam
das distribuições dos outros corretores.
Quando não é este o caso (distribuições diferentes) pode ser necessário proceder a
operações como “test equating”, isto é, uma operação de homogeneização dos resultados
que passe por converter certos resultados nos resultados equivalentes de uma distribuição
comum.
No caso presente, o resultado usado é o que aparece imputado pelo corretor –
inscrito na prova produzida pelo estudante e, portanto, antes de qualquer eventual
homogeneização.
Uma vez que se ignora se esses resultados a que se teve acesso foram produzidos
por um único corretor ou por vários, assume-se que foram produzidos por um único
corretor fictício aqui designado por Ministério.
De acordo com a literatura consultada (Landauer, Foltz, & Laham, 1998), em
particular as classificações atribuídas pelos classificadores automáticos construídos
segundo a metodologia da ASL assumem uma perspetiva holística para a classificação. De
resto, inicialmente assumia-se que estes classificadores funcionavam com base no
chamado modelo “bag of words” para vincar bem que o que contava eram simplesmente as
153 frequências de ocorrência das palavras nos textos, não importando a ordem de ocorrência
nem os aspetos gramaticais.
Contudo, a tendência atual é, sem alterar a natureza da ASL, a consideração de
certos aspetos gramaticais relacionados com a ordem das palavras e a estrutura das frases,
“inferidas” de modo experimental, guiados pelos dados (Kintisch, 2001; Dennis, 2005).
Sendo o nosso trabalho baseado no modelo “bag of words” sentiu-se a necessidade
de verificar em que medida os resultados de uma classificação holística realizada por
professores que classificassem os textos já classificados segundo os protocolos de correção
do Ministério diferiam dessas classificações.
Estando, por razões económicas e de tempo, fora de causa contratar professores que
reclassificassem todos os testes disponíveis, obteve-se a colaboração de um professor de
Português do Ensino Secundário que, de forma totalmente graciosa, se dispôs a classificar,
segundo este critério holístico, os testes do Ministério relativos a 60 respostas relativos à
prova 639 de 2008.
A tabela 3.9.6.1. a seguir apresentada contém não só as classificações do
Ministério relativas às duas questões envolvendo o Memorial do Convento, como as
classificações atribuídas, segundo o critério holístico, a esses mesmos textos pelo professor
que connosco colaborou.
Nº 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Curso Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Ciências Sociais e Humanas Comunicação Ciências e Tecnologia Ciências e Tecnologia Ciências e Tecnologia Ciências Sócio‐Económicas Ciências Sociais e Humanas Ciências e Tecnologia Ciências e Tecnologia Num Conv 845 846 847 848 849 850 851 852 853 854 855 856 857 858 859 856 861 862 863 864 865 866 867 Fase 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª Cod Exam 639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
A B Total A B Total Data Min Min Min HOL HOL HOL 22‐07‐2008 3,9
2
5,9 3 4 7
22‐07‐2008 3,6 1,7
5,3 3,5 4 7,5
22‐07‐2008 4,3 2,5
6,8 3 4 7
22‐07‐2008 3,7 2,8
6,5 2,5 4,5 7
22‐07‐2008 4,9 1,5
6,4 3,5 3,9 7,4
22‐07‐2008 4,3 1,9
6,2 4 5 9
22‐07‐2008 3,8 1,8
5,6 3 5 8
22‐07‐2008 4,4 1,8
6,2 2,5 4 6,5
22‐07‐2008 3,7 2,3
6 2,5 4 6,5
22‐07‐2008 3,5 2,1
5,6 2 4 6
22‐07‐2008 3,3 1,7
5 3 4 7
22‐07‐2008
5 1,2
6,2 4 4,7 8,7
22‐07‐2008 3,7 1,5
5,2 3 4 7
22‐07‐2008 3,4 1,6
5 2 3,7 5,7
22‐07‐2008 3,8 1,5
5,3 2,5 3,5 6
22‐07‐2008 2,6
0
2,6 3 0 3
22‐07‐2008 5,6 0,8
6,4 4,5 3,5 8
22‐07‐2008
4 1,7
5,7 3 3 6
22‐07‐2008 4,8
2
6,8 3 4 7
22‐07‐2008 4,5
0
4,5 3 0 3
22‐07‐2008 4,5 0,8
5,3 4 3 7
22‐07‐2008 5,7 1,9
7,6 3,5 4 7,5
22‐07‐2008 4,3
1
5,3 3,5 3 6,5
154 Nº 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 Curso Administração Ciências e Tecnologia Ensino Recorrente Ciências e Tecnologia Ciências e Tecnologia Administração Ciências e Tecnologia Ciências Sócio‐Económicas Ciências e Tecnologia Ciências e Tecnologia Artes Visuais ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ Ciências Sócio e Humanas Ciências Prof. Comunicação Ciências e Tecnologia I ‐ Informática Ciências e Tecnologia Tecn. de Administração Ciências e Tecnologia 1 ‐ Científico‐Natural Agrupamento 1 / Geral Ciências Sociais e Humanas Ciências Sociais e Humanas Tecn. de Administração ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ Ciências e Tecnologia Ciências Sociais e Humanas Ciências e Tecnologia Ciências e Tecnologia ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ Ciências Sociais e Humanas Ciências e Tecnologia Ciências Socioeconómicas Ciências e Tecnologia Ciências e Tecnologia Ciências e Tecnologia Tecn. de Administração Ciências e Tecnologia Num Conv 868 869 870 871 872 873 874 875 876 877 878 879 880 881 882 883 884 885 886 887 888 889 890 891 892 893 894 895 896 897 898 899 900 901 902 903 904 905 Fase 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª 2.ª Cod Exam 639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
639
Data 22‐07‐2008
22‐07‐2008
22‐07‐2008
22‐07‐2008
22‐07‐2008
22‐07‐2008
22‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
23‐07‐2008
(continuação)
A B Total A B Total Min Min Min HOL HOL HOL 4,3 1,9
6,2 4 4 8
4,3 0,8
5,1 2,5 4 6,5
6,4 2,8
9,2 3 4 7
5,9
2
7,9 4 4
4,9 2,1
7 3,5 4 7,5
4,9 1,7
6,6 2,5 4 6,5
2,1 0,6
2,7 2 3 5
5 2,4
7,4 4,5 4,5 9
4,8 2,3
7,1 4 4 8
3
2
5 3 3 6
4,5 1,7
6,2 3,5 4 7,5
5,4
3
8,4 5 4,9 9,9
3,3 1,6
4,9 2 3,5 5,5
5,1 2,4
7,5 3,5 3,7 7,2
2,4 2,1
4,5 2 3 5
4,8 0,7
5,5 4 3 7
3,5 2,2
5,7 3 4 7
4,6 2,4
7 3,5 4 7,5
4 1,6
5,6 2,5 3 5,5
4,4 2,2
6,6 3 3 6
4,1
0
4,1 3 1 4
3,5 1,5
5 3,5 4 7,5
4,3 1,7
6 3,5 4 7,5
4,9 1,8
6,7 2,5 2,5 5
1,9 1,1
3 1,5 2,5 4
5,6
2
7,6 4,5 4,5 9
4,8 0,9
5,7 3,5 3,5 7
3,3 2,8
6,1 3,5 4,5 8
6 1,2
7,2 2,5 4,5 7
5,3 1,7
7 2 3 5
5,4 1,7
7,1 3 4 7
4,4 2,1
6,5 3 4 7
2,8 0,7
3,5 3,5 4 7,5
5,3 1,7
7 4 3 7
6,1 2,2
8,3 4 4 8
4,4 1,7
6,1 3 3,5 6,5
4,8
0
4,8 3,5 0 3,5
2 1,6
3,6 1 4 5
Tabela 3.9.6.1. Classificações do Ministério e classificações atribuídas segundo o critério
holístico. Ao reclassificar os textos segundo um critério holístico, o professor referido
ignorava a nota oficial do Ministério.
Na tabela 3.9.6.2. apresenta-se o resumo estatístico dos resultados oficiais (MIN) e
das classificações holísticas (HOL), obtido com o software SPSS v17.
155 Descriptive Statistics
N
A_Min
B_Min
Total_Min
A_HOL
B_HOL
Total_Hol
Valid N (listwise)
Minimum
Maximum
1,9
0
2,6
1
0
3
6,4
3
9,2
5
5
10
61
61
61
61
60
61
60
Mean
4,292
1,66
5,948
3,14
3,57
6,65
Std.
Deviation
1,0159
0,7
1,3422
0,781
1,067
1,459
Tabela 3.9.6.2. Resumos estatísticos das classificações holísticas (HOL) e do Ministério (MIN). Como se pode verificar, as maiores diferenças a nível de médias observam-se em
relação à B) que no caso das classificações tem um valor substancialmente inferior à nota
holística. Vê-se que, neste caso, as duas médias A) e B) são da mesma ordem de grandeza
ao passo que no caso do Ministério são substancialmente diferentes.
Precisando estas comparações através de uma análise de variância para comparação
de médias (em que os grupos MIN ou HOL são definidos por uma variável com dois
valores 1 e 2) obtém-se a tabela 3.9.6.3.
ANOVA
A
1
Mean Square
40,509
98,491
120
0,821
139
121
110,262
1
110,262
96,547
119
0,811
206,809
120
11,588
1
11,588
Within Groups
256,933
120
2,141
Total
268,521
121
Between Groups
Within Groups
Total
B
Sum of
Squares
40,509
Between Groups
Within Groups
Total
Total Between Groups
df
F
49,355
Sig.
0
135,905
0
5,412
0,022
Tabela 3.9.6.3. Comparação de médias entre grupos MIN e HOL para as respostas à A), à B) e
Total. Nesta tabela confirma-se a perceção captada pelas estatísticas descritivas da tabela
3.9.6.1.
Isto é, a nível de médias obtidas com os dois métodos (MIN e HOL) verifica-se que
as médias A), B) e Total) são significativamente distintas ao nível de significância 0.05,
156 sendo as médias obtidas com o segundo método (HOL) significativamente superiores no
caso A) (4.3 > 3.1) e o contrário no caso B) (1.7 < 3.6).
Uma outra questão é a de saber se seria possível predizer os resultados do MIN
conhecendo os resultados da classificação holística.
A tabela 3.9.6.4. contém as correlações entre as três variáveis relativas ao
Ministério e as variáveis correspondentes, relativas à classificação holística.
Verifica-se que existem correlações significativas entre os resultados obtidos pelo
ministério e os obtidos pelo método holístico. Com efeito,
r (A-MIN, A-HOL)= 0.577 (Significativo ao nível 0.01)
r (B-MIN, B-HOL)= 0.696 (Significativo ao nível 0.01)
r (Total-MIN, Total-HOL)= 0.562 (Significativo ao nível 0.01)
Correlations
A_Min
A_Min
Pearson Correlation
1
Sig. (2-tailed)
N
B_Min
A_HOL
0,196
Sig. (2-tailed)
0,129
Pearson Correlation
Sig. (2-tailed)
N
B_HOL
Pearson Correlation
Sig. (2-tailed)
N
Total_Min Pearson Correlation
Sig. (2-tailed)
N
Total_Hol Pearson Correlation
Sig. (2-tailed)
N
A_HOL
,577**
0,129
0
0,168
0
0,003
61
61
60
61
61
0,1
**
**
,537**
61
Pearson Correlation
N
B_Min
0,196
1
61
61
B_HOL Total_Min
0,18
,859**
,696
,670
Total_Hol
,372**
0,444
0
0
0
61
60
61
61
0,181
**
,620**
0,167
0
0
60
61
61
1
**
,844**
0
0
**
0,1
0
0,444
61
61
0,18
**
0,181
0,168
0
0,167
60
60
60
60
60
60
**
**
**
**
1
,562**
,577
,859
,696
,670
0
0
1
61
,489
0
,505
,489
,505
0
0
61
61
61
60
61
61
,372**
,537**
,620**
,844**
,562**
1
0,003
0
0
0
0
61
61
61
60
61
61
**. Correlation is significant at the 0.01 level (2-tailed).
Tabela 3.9.6.4. Correlações entre as classificações do ministério e holístico. No caso dos totais, a figura seguinte – figura 3.9.6.1. – mostra essa informação
graficamente e responde à questão de saber se seria possível predizer os resultados do
Ministério conhecendo os holísticos. A resposta é afirmativa mas com grandes erros, como
mostra abaixa qualidade da regressão (R2= 0.32) da ordem de grandeza dos valores obtidos
157 ao tentar predizer as classificações do ministério usando as classificações do sistema
implementado.
Figura 3.9.6.1. A figura mostra que a reta de previsão dos resultados do ministério conhecendo os
do método holístico tem fraca qualidade. Os gráficos para A) e B) são semelhantes.
Finalmente, interessa responder à questão de saber se – sim ou não – se pode
considerar que os resultados holísticos e do Ministério vêm da mesma distribuição
populacional. A resposta a esta questão obtém-se realizando testes (não paramétricos) de
Mann-Whitney e Kolmogorov-Smirnov, cujos resultados aparecem na tabela 3.9.6.5.
158 Test Statisticsa
Mann-Whitney U
Wilcoxon W
Z
Asymp. Sig. (2-tailed)
A
B
683
2574
-6,052
0
241
2132
-8,288
0
Total
1323
3214
-2,759
0,006
a. Grouping Variable: Classif
Test Statisticsa
Most Extreme Differences
Absolute
Positive
Negative
Kolmogorov-Smirnov Z
Asymp. Sig. (2-tailed)
A
0,557
B
0,884
Total
0,328
0
-0,557
3,078
0
0,884
0
4,86
0
0,328
-0,033
1,811
0,003
a. Grouping Variable: Classif
Tabela 3.9.6.5. Os resultados dos testes mostram que as distribuições
significativamente diferentes das distribuições (MIN). (HOL)
são
Como pode ver-se, há diferenças significativas nas distribuições populacionais dos
resultados obtidos pelos dois métodos de classificação (holístico e segundo os critérios do
Ministério).
Em síntese, embora na experiência se usem os resultados de um só professor, pode
concluir-se que os resultados obtidos pelo método holístico aplicado são substancialmente
distintos dos obtidos pelo método do Ministério. Além disso, constata-se que, do ponto de
vista da validade (dada pelas correlações) as correlações (ClSys, ClProf) e (ClHol, ClProf)
são da mesma ordem de grandeza, especialmente quando consideramos os resultados
obtidos pelos dados GESTÃO – ver 3.9.5. acima.
Isto significa que os resultados obtidos com o método de classificação automática
de textos de resposta aberta integrado no sistema PAET são encorajadores e apoiam a
expetativa de futuros desenvolvimentos interessantes nesta direção.
159 Conclusão
Na introdução a este trabalho foram estabelecidos os grandes objetivos, motivações
e resultados a atingir.
Foram aí também formuladas as grandes questões a investigar (I, II e III). Neste
capítulo sintetizam-se os principais resultados e as respostas às questões formuladas.
Em relação à Questão I (estado da investigação relativa à avaliação automática com
base nos textos de resposta a questões abertas), constatou-se que os Estados Unidos, depois
de uma experiência acumulada de décadas, preparam-se para generalizar a todo o território,
o uso da avaliação automática até mesmo dos exames finais, com implicações para a vida
dos estudantes. Estes desenvolvimentos e a investigação aplicada em que se baseou
assentam em organismos independentes como o ETS (Educational Testing Service).
Depois de naturais resistências iniciais por parte dos professores esta tecnologia tem agora
uma aceitação generalizada pelo facto de esses instrumentos serem percebidos não como
substitutos do professor mas como garantia de uma melhor qualidade do trabalho dos
mesmos.
Em relação à Questão II (identificação de problemas ligados à construção de
sistemas automáticos de avaliação de conhecimentos), a nossa própria experiência mostrou
que há que distinguir claramente entre a criação de sistemas que sejam capazes de produzir
resultados indistinguíveis dos obtidos pelos classificadores humanos de exames sumativos
nacionais (como sucede atualmente nos Estados Unidos) e sistemas capazes de produzir
resultados úteis à atividade diária dos professores na sua atividade letiva diária, implicando
conceber e avaliar resultados de testes formativos associados à avaliação contínua.
Pela nossa própria experiência, ao conceber e implementar um sistema
experimental deste tipo (ver Capítulos II e III, análise de dados) e depois ao analisar
estatisticamente os seus resultados, concluiu-se que um sistema para os exames sumativos
– especialmente os pensados para exames nacionais – têm de ter caraterísticas que
incorporem critérios de avaliação que têm que ver com questões ligadas aos aspetos
linguísticos (Sintaxe, Morfologia, Pontuação, Ortografia, Léxico), estrutura de texto,
presença ou ausência de certas características que só podem ser incorporadas através da
utilização de conceitos de inteligência artificial – para lá de exigirem depois a realização de
160 experiências com grande quantidade de dados, controladas segundo metodologias
psicométricas. Isto significa que, embora a esmagadora maioria das técnicas e
metodologias seja relativamente bem conhecidas, a sua implementação exige uma
organização com largos recursos humanos, científicos e financeiros a nível nacional.
Uma vez que a implementação dessa metodologia permite economizar depois
recursos consideráveis ligados à administração do processo de exames, crê-se que é um
problema a considerar na estruturação futura do Ministério de Educação.
Já quanto à implementação de sistemas que apoiem o professor na elaboração e
avaliação de questões de resposta aberta ligadas à avaliação contínua, constatou-se pela
nossa própria experiência de elaboração de um protótipo de um sistema desse tipo (o
PAET – Programa de Análise Estatística de Textos) que não só é realizável como é
possível com recursos modestos, como os resultados experimentais apresentados em 3.9.6.
sugerem.
Isto é, é possível pensar em desenvolver sistemas deste tipo que não exijam mais
recursos para funcionar do que aqueles que estão ao alcance dos professores na sua
atividade letiva. É admissível que estes sistemas possam ser produzidos e testados por
empresas privadas e que, para serem usados pelos professores dependam apenas de
recursos ao seu alcance.
Em relação à Questão III, os factos têm ultrapassado as expetativas, verificando-se
a emergência recente, durante o tempo que durou a atividade investigadora que conduziu a
esta tese, do desenvolvimento da atividade designada por EDM (Educational Data Mining)
que poderíamos designar um Português por MDE – Mineração de Dados Educacionais –
abrangendo o uso intenso das técnicas de análise estatística de textos e outros dados na
extração de conhecimentos e tomada de decisão (por estudantes e professores) a partir do
funcionamento das plataformas eletrónicas formas de ensino, sistemas administrativos e
sistemas de investigação ligadas ao ensino. Considera-se, pois, que a elaboração desta tese
e a correspondente investigação se encontra em completa sintonia com a realidade atual e
tendências percetíveis.
A atividade investigadora teve de ultrapassar algumas dificuldades. A principal das
consistiu na ausência de apoios financeiros, obrigando o signatário a financiar do seu
próprio bolso atividades como a recolha e o registo em suportes magnéticos de todos os
textos envolvidos no projeto.
161 Com efeito, esta metodologia só é aplicável na prática se incidir em documentos
facilmente acessíveis em suportes magnéticos – como é, felizmente, a tendência atual.
Apesar dos progressos no OCR (Optical Character Recognition), está para já fora de
questão usá-lo para as tarefas de transcrição de documentos manuscritos.
As resistências encontradas conduziram à impossibilidade prática de aceder aos
conteúdos e experiências baseadas em plataformas de e-learning e a ter de encarar a
necessidade de pedir autorização ao Ministério de Educação para aceder a exames
nacionais em papel e respetivas classificações, arquivadas nas escolas onde foram
realizados.
Houve, enseguida, a necessidade de fotocopiar todo esse material e manuais de
ensino selecionados que tiveram de ser transcritos para suportes digitais. Todo este
processo levou muitos meses e consumiu consideráveis recursos – com grandes
inconvenientes e prejuízo do calendário inicial.
Apesar de todo o esforço, a amostra com que foi possível trabalhar não permitiu
conclusões isentas de alguma ambiguidade. Ver experiências descritas em 3.9.1. e 3.9.2.
Em contraste, os textos relativos à formação contínua no contexto de um instituto
politécnico disponibilizados pela Professora Florinda Matos, já tinham as imagens
digitalizadas pelo que foi apenas necessário realizar a respetiva transcrição mediante um
processador de texto para textos utilizáveis pelo programa desenvolvido.
Considera-se como um dos principais resultados obtidos, o desenvolvimento do
programa PAET que, servindo de protótipo para futuros desenvolvimentos, serviu também
de banco de ensaios sobre o qual foram testadas ideias a ter em conta no futuro e com o
qual se realizaram as experiências de análise multivariadas descritas no Capítulo III.
Um outro resultado que se considera importante é o do estabelecimento da relação
entre ASL e os biplots, sendo a exploração desta relação um instrumento importante da
exploração dos dados experimentais usados nesta tese e em futuros sistemas a desenvolver.
Com efeito, embora a literatura mostre que nas análises de textos das respostas a
questões abertas seja necessário considerar e usar dimensões muito superiores às
dimensões 1, 2, ou 3 onde é habitualmente possível visualizar a informação, o uso dos
biplots para representar esta informação em baixa dimensão é um poderoso auxiliar de
intuição e do raciocínio geométrico, suporte da intuição. Concluiu-se que o uso sistemático
dessa dualidade é a chave no desenvolvimento futuro de sistemas operacionais “amigos do
162 utilizador” tanto mais que desenvolvimentos recentes relativos aos chamados biplots
cilíndricos reforçam esta perspetiva (Vairinhos & Galindo, 2012).
Tendo em conta o que precede, as conclusões desta investigação são as seguintes:
1. É possível e aconselhável o uso crescente de técnicas de mineração de textos
em tarefas ligadas à atividade letiva tanto de professores como de estudantes no
contexto, de uma avaliação formativa contínua.
2. É possível – com meios pouco dispendiosos, como foi demonstrado pelo
protótipo desenvolvido – desenvolver instrumentos de apoio à atividade
docente que torne possível o uso em grande escala de questões de resposta
aberta, sem grande sobrecarga para os possíveis utilizadores.
3. É possível desenvolver sistemas desse tipo que façam uso apenas de recursos
acessíveis à generalidade dos docentes.
4. O funcionamento de sistemas deste tipo só é possível quando os textos
envolvidos (manuais e respostas) estão em suporte magnético e sob a forma de
texto.
5. O desenvolvimento de sistemas do tipo SAAT para exames sumativos a nível
nacional é uma tendência internacional mas exige infraestruturas de
investigação e produção a nível do Ministério da Educação.
6. Foi desenvolvido um protótipo que permite servir de banco de ensaios às
metodologias envolvidas no desenvolvimento de sistemas futuros de apoio à
atividade de elaboração de testes baseados em questões abertas.
7. As análises de dados realizadas no sistema protótipo desenvolvido puseram em
evidência questões teóricas e práticas a abordar em projetos futuros nesta
direção.
163 Referências Bibliográficas
Almond, R. G., Steinberg, L. S., & Mislevy, R. J. (2002). Enhancing the design and
delivery of assessment systems: a four process architecture. Journal of Technology,
Learning, and Assessment, 1(5). Retrieved from: http://www.itla.org.
Alvares, R. V. (2005). Investigação do processo de Stemming na língua portuguesa.
Dissertação de Mestrado. Niterói: Universidade Federal Fluminense.
Amershi, S., & Conati, C. (2009). Combining Unsupervised and Supervised Machine
Learning to Build User Models for Exploratory Learning Environments. Journal of
Educational Data Mining, 1(1), 18-71.
Anaya, A. R., & Boticário, J. G. (2011). Application of machine learning techniques to
analyse student interactions and improve the collaboration process. Expert Systems
with Applications, 38, 1171–1181. doi: 10.1016/j.eswa.2010.05.010
Antunes, C. (2010) Anticipating student’s failure as soon as possible. In Romero, Ventura,
Pechenizkiy, & Baker, 353-363.
APA – American Psychological Association (2003). Guidelines on multicultural education,
training, research, practice, and organizational change for psychologists. American
Psychologist,
May
2003,
377-402.
Retrieved
from
http://www.indigenouspsych.org//resources/guidelines(2003)%20apa.pdf.
Arends, R. (2008). Aprender a ensinar. Lisboa: McGraw-Hill (7.ª ed.).
Arias, R. M. (1996). Psicometría: teoria de los testes psicológicos y educativos. Sintesís
Psicologia. Madrid: Síntesis.
Arnold, K.E. (2010). Signals: Applying Academic Analytics. Educause Quarterly, 33(1).
Arroyo, I., & Woolf, B. P. (2005). Inferring learning and attitudes from a Bayesian
Network of log file data. Proceedings of the 12th International Conference on
Artificial Intelligence and Education, 33-40.
Attali, Y., & Bustein, J (2004). Automated essay scoring with E-rates v.2.0. Conference
of International Association for Educational Assessment (IAEA). Philadelphia, PA.,
June 13 -18.
164 Baker, F. B. (1992). Item response theory, parameters estimation techniques. New York:
Marcel Dekker, Inc.
Baker, F. B., Ryan, S. J. D., & Yacef, K. (2009). The state of educational data mining in
2009: a review and future visions. 2nd International Conference on Educational
Data Mining. Cordoba, Spain, July 1-3, 2009.
Bejar, I. I. (2011). A validity-based approach to quality control and assurance of automated
scoring, assessment in education. Principles, Policy & Practice, 18(3), 319-341.
Bellegarda, J. R. (2007). Latent semantic mapping: principles & applications. Georgia,
Atlanta: Morgan & Claypool Publishers.
Benoit, G. (2002). Data Mining. Annual Review of Information Science and Technology, 6,
265-310.
Benzécri, J. (1973). L’analyse dês données. Paris: Dunod.
Bergner, Y., Dröschler, S., Kortmeyers, G., Rayyan, S., Seaton, D., & Pritchard, D. E.
(2012). Model – Based collaborative filtering analysis of student response data:
machine-learning item response theory. Proceeding of the 5th International
Conference on Educational Data Mining, 87-94.
Biletska, O., Biletskiy, Y., Li, H., & Vovk, R. (2010). A semantic approach to expert
system for e-Assessment of credentials and competencies. Expert Systems with
Applications, 37, 7003–7014. doi:10.1016/j.eswa.2010.03.018
Bloom, P. (2000). How children learn the meaning of words. Cambridge, MA: MIT.
Bond, T. G., & Fox, C. M. (2007). Applying the rasch model. Fundamental measurement
in the human sciences. Mahwah, New Jersey: Lawrence Erlebaum Associates
(LEA).
Botana, G. J., Léon, J. A., Olmos, R., & Escudero, I. (2010). Latent semantic analysis
parameters for essay evaluation using small-scale corpora. Journal of Quantitative
Linguistic, 17(1), 1-29.
Bridgeman, B., Trapant, C., & Attalli, Y. (2012). Comparasion of human and machine
scoring of essay’s: differences by gender, ethnicity and country. Applied
Measurement in Education, 25(1), 27-40.
Bruner, J. (1996). The culture of education. Cambridge, MA: Harvard University Press.
165 Burnstein, J. (2003). The E-rater scoring engine: automated essay scoring with natural
language processing. In Shermis & J. Burnstein, 113-122.
Cheng, S. L. (2008). Intelligent cognition-based systems approach to multiple criteria
computerized essay assessment. System Research, 27(6), 680-696.
Chodorow, M., & Burnstein, J. (2004). Beyond essay length: evaluating e-rater’s
performance or TOEFL essays. ETS – Educational Testing Service Research
Reports. Report Number: RR-04-04, TOEFL-RR-73.
Chomsky, N. (1968). Language and mind. New York: Harcourt, Brace & World. Retrieved
from http://www.chomsky.info/books.htm.
Cizek, G. J., & Page, B. A. (2003). The concept of reliability in the context of automated
essay scoring. In Shermis, & Burnstein, 125-146.
Dennis, Simon (2005). A memory-based theory of verbal cognition. Cognitive Science, 29,
145-193.
Dewey, J. (1916). Democracy and education. New York: Macmillan.
Dikli, S. (2006). An overview of automated scoring of essays. The Journal of Technology,
Learning and Assessment, 5(1). Retrieved from: //www.jtla.org
D’Mello, S., & Graesses, A. (2010) Mining bodily patterns of affective experience during
learning. Proceedings of the 3rd Educational Data Mining.
Dolezal, S. E., Welsh, L. M., Pressley, M., & Vincent, M. M. (2003). How nine third-grade
teachers motivate student academic engagement. Elementary School Journal,
103(3), 239-269.
Duwairi, R. M. (2006). A framework for the computerized assessment of university student
essay. Computers in Human Behavior, 22(3), 381-388.
Ebel, R. L., & Frisbie, D. A. (1991). Essentials of educational measurement. New Delhi:
Prentice-Hall.
Eckart, C., & Young, G. (1936). The approximation of one matrix by another of lower
rank. Psychometrika, 1(3), 212-218.
Ercan, T. (2011). Benefits of semantic approach in the learning environment. Procedia Social and Behavioral Sciences, 28, 963 – 967. doi: 10.1016/j.sbspro.2011.11.177
166 ETS – Educational Testing Service (2013). Automated scoring of natural language.
Retrieved from: http://www.ets.org/research/topics/as-nlp/
Executive Office of the President – President’s Council of Advisors on Science and
Technology (2010). Report to the president and congress designing a digital
future: Federally funded research and development in networking and information
technology. Executive Office of the President of the United States.
Fayyad, U. M. , Piatetsky-Shapiro, G., Smyth, P., & Uthurusamy R. (1996).
Advances in knowledge discovery and data mining. California: MIT Press.
Feldman, R., & Sanger, J. (2007). The text Mining handbook: advanced approaches
in analyzing unstructured data. Cambridge: Cambridge University Press.
Friedman, J. H., & Jacqueline, J. M. (2004). Clustering objects on subsets of attributes.
Journal of the Royal Statistical Society. Series B (Statistical Methodology), 66(4),
815-849. Retrieved from: http://www.jstor.org/stable/3647651
Gabriel, K. R. (1971). The biplot graphie of matrices with application to principal
component analysis. Biometrika, 58(3), 453-467.
Galindo, M. P. (1985). Constribuiciones a la representación simultanea de datos
multidimensionales. Tesis Doctoral. Universidad de Salamanca.
He, Y., Hui, S. C., & Quan, T. T. (2009). Automatic summary assessment for intelligent
tutoring systems. Computers and Education, 53, 890-899.
Hill, S. L., Wang, Y., Riachi, I., Schurmann, F., & Markram, H. (2012). Statistical
connectivity provides a sufficient foundation for specify functional connectivity in
neo cortical neural microcircuits. PNAS, E2885-E2894.
Islam, M. M., & Hoque, A. S. M. L. (2010). Automated essay scoring using generalized
latent semantic analysis. Proceedings of the 15th International Conference of
Computer and Information Technology (I CCIT 2010).
Jorge-Botana, G., León, J. A., Olmos, R., & Escudero, I. (2010). Latent semantic analysis
parameters for essay evaluation using small-scale corpora. Journal of Quantitattive
Linguistics, 17(1), 1-29.
Keeves, J. P. (1988). Educational research, methodology and measurement: An
international handbook. Oxford, England: Pergamon Press.
167 Keith, T. Z. (2003). Validity of automated essay scoring systems. In Shermis, & Burmstein,
147-167.
Kintsch, Walter (2001). Predication. Cognitive Science, 25, 173-202.
Lam, Dullon, & Chang (2010). Towards the use of semi-structured annotators for
automated essay grading. 4th IEEE International Conference on Digital Ecosystems
and Technologies (IEEE DEST 2010).
Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato’s problem: The latent
semantic analysis theory of acquisition, induction and representations of
knowledge. Psychological Review, 104, 211-240.
Landauer, T. K., Foltz, P. W., & Laham, D. (1998). An introduction to latent semantic
analysis. Discourse Processes, 25, 259-284.
Landauer, T. K., Foltz, P. W., & Laham, D. (2003). Automatic essay assessment.
Assessment in Education, 10(3), 295-308.
Landauer, T. K., McNamara, D. S., Dennis, S., & Kintsch, W. (2007). Handbook of latent
semantic analysis. Mahwah, New Jersey: Lawrence Erlbaum Associates (LEA).
Landauer, T. K. (2011). Pearson’s text complexity measure. White paper. Pearson.
Retrieved from http://www.pearsonassessments.com/research.
Lebart, T., Salem, A. Y., & Benny, L. (1998). Exploring textual data. Dordrecht: Kluwer
Academic Publishers.
Linden, W. J. (1997). Handbook of modern item response theory. New York. SpringerVerlag.
Liu, O. L., Lee, H.-S., & Linn, M. C. (2011). An investigation of explanation multiplechoice items in science assessment. Educational Assessment, 16(3), 164-184.
Longford, N. T. (1995). Models for uncertainty in educational testing. NY: SpringerVerlag.
Louwerse, M. M., & Ventura, M. (2005). How children learn the meaning of words and
how LSA does it (too). Journal of the Learning Sciences, 14(2), 301-309.
Manyika, J., Chui, M., Brown, B., Bughin, J., Dobbs, R., Roxburgh, C., & Byers, A. H.
(2011). Big Data: The next frontier for innovation, competition, and productivity.
McKinsey
Global
Institute.
Retrieved
from:
168 http://www.mckinsey.com/insights/business-technology/big-data-the-next-frontierfor-innovation.
Miller, M. D., Linn, R. L., & Gronlund, N. E. (2009). Measurement and assessment in
teaching. NJ: Pearson.
Mislevy, R. J. (1992). Linking educational assessments: concepts, issues, methods, and
prospects. NY: Princeton.
Mislevy, R. J., Almond, R. G., & Lukas, J. F. (2003). A brief introduction to evidence –
centered design. ETS – Educational Testing Service. NJ: Princeton.
Mislevy, R. J., Behrens, J. T., Dicerbo, K. E., & Levy, R. (2012). Design and discovery in
educational assessment: evidence – centered design, psychometrics, and
educational data mining. Journal of Educational Data Mining, Article 2, 4(1).
Moretti, F. (2005). Graphs, Maps, Trees. London: Verso.
Mu, J., Stegmann, K., Mayfiled, E., Rosé, C., & Fisher, F. (2012). The ACODEA
framework: Developing segmentation and classification schemes for fully
automatic analysis of online discussion. International Journal of Computer Supported Collaborative Learning, 7(2), 285-305. Retrieved from: doi: 10.1007/s
11412 – 012 – 9147 – y.
Muñiz, H. (1996). Psicometría. Madrid: Editorial Universita, S. A.
Newman, D. A., & Vermunt, J. K. (2011). Using mixed-measurement item response theory
with covariates (MM-IRT-C) to ascertain observed and unobserved measurement
equivalence. Organizational Research Methods, 14(1), 147-176.
Oliveri, M. E., & Davier, M. (2011). Investigation of model fit and score scale
comparability in international assessments. Psychological Test and Assessment
Modeling, 53(3), 315-333.
Orengo, V. M., & Huyck, C. (2001). A stemming algorithm for the portuguese language.
IEEE String Processing and Information Retrieval. SPIRE 2001. IEEE Xplore
Digital Library. Retrieved from: http://ieeexplore.ieee.org/xpe/.
Osuna Marin, Z. (2006). Contribuciones al análisis de datos textuales. Tesis Doctoral.
Universidad de Salamanca.
169 Page, E. B. (1994). Computer grading prose, using modern concepts and software. Journal
of Educational Education, 62(2), 127-133.
Pintrich, P. R., & Schunk, D. H. (2002). Motivation in education: Theory, research, and
applications (2nd ed.). New York: Prentice-Hall.
Porter,
M.
F.
(1980).
The
Porter
stemming
algorithm.
Retrieved
from
http://tartarus.org/martin/PorterStemmer/index-????.htlm.
Powers, D. E., Burnstein, J. C., Chodorov, M., Fowles, M. E., & Kukich, K. (2001).
Stumping E-rater: Challenging the validity of automated essay scoring. ETS –
Educational Texting Service.
Ranadivé, & Maney (2011). The two-second advantage. New York: Crown Business.
Rauch, D. P., & Hartig, J. (2010). Multiple-choice versus open-ended response formats of
reading test items: A two-dimensional IRT analysis. Psychological Test and
Assessment Modeling, 52(4), 354-379.
Ribeiro, L. C. (1989). Avaliação de Aprendizagens. Lisboa: Texto Editora.
Rocha, G. G., & Coelho, J. M. A. (2009). Incorporação de um lematizador da língua
portuguesa a um agente de recuperação de informação baseado em algoritmos
genéticos. Campinas: Anais do XIV Encontro de Iniciação Científica da PVC.
Romero, C., Ventura, S., Espejo, P. G., & Hevais, C. (2008). Data mining to classify
students. Processings of the 1st International Conference on Educational Data
Mining, Montreal, Quebec, June 20-21, 2008.
Romero, C., Ventura, S., Pechenizkiy, M., & Baker, R. S. D. (2011). Handbook of
educational data mining. New York: CRC Press.
Rudner, L. M., & Gagne, P. (2001). An overview of three approaches to scoring written
essays by computer. Practical Assessment Research & Evaluation.
Rudner, L. M., & Liang, T (2002). Automated essay scoring using Bayes’s theorem.
Journal of Technology, Learning and Assessment, 1(2). Retrieved from:
http://www.jtla.org.
Rudner, L. M., Garcia, V., & Welch, C. (2006). An evaluation of the Intellimetric TM essay
scoring systems. The Journal of Technology, Learning and Assessment, 4(4).
Retrieved from: http://www.jtla.org.
170 Rupp, A. A., Nugent, R., & Nelson, B. (2012). Evidence centered design for diagnostic
assessment within digital educational data mining. Journal of Educational Data
Mining, 4(1), 1-10.
Salton, G., Wong, A., & Yang, C. S. (1975). A vector space model for automatic indexing.
Communications of the ACM, 18(11), 613-620.
SPSS (2007). SPSS statistics 17.0 algorithms. Chicago: SPAA Inc.
Schaefer, W. D. (1991). Essencial assessment skills in professional education for teachers.
Educational Measurement: Issues and Paractices, 10(1), 3-6.
Shermis M. D., & Burstein, J. C (ed.) (2003). Automated essay scoring - a cross disciplinary perspective. Mahwah: Lawrence Erlbaum.
Shmueli, G., & Koppins, O. (2011). Predictive analytics in information systems research.
MIS Quartely, 35(3), 553-572.
Stiggins, R. J. (2004). Student-involved assessment for learning (4th ed.). Englewood
Cliffs, NJ: Prentice-Hall. Têng, Ssu-yu (1943). Chinese influence on the western examination system. Harvard
Journal
of
Asiatic
Studies,
7(4),
267-312.
Retrieved
from
http://www.jstor.org/stable/2717830
Vairinhos, V. M. (2003). Desarollo de un sistema de numería de datos basado en los
metodos biplot. Tesis Doctoral. Universidad de Salamanca.
Vairinhos, V. M., & Galindo, M. P. (2012). Biplots cilíndricos. XIX Jornadas de
Classificação e Análise de Dados, Instituto Politécnico de Tomar. Livro de
Resumos, 132-137.
Vygotsky, L. S. (1978). Mind in society. The development of higher psychological
processes. Cambridge, MA: Harvard University Press.
Vygotsky, L. S. (1994). The problem of environment. In Rene van der Veer & J. Valsiner
(eds.), The Vygotsky reader. Cambridge, England: Blackwell.
Vojac, Kline, Cope, McCarthy, & Kalantzis (2011). New spaces and old places: Na
analysis of writing assessment software. Computers and Compositions, 28, 97-111.
Wainer, H. (1990). Computerized adaptive testing. Mahwah, NJ: Lawrence Erlbaum.
171 Wanters, K. , Desment, P., & Noortgate, W. Van (2011). Acquaring item difficulty
estimated: a collaborative effort of data and judgement. Proceddings os the 4th
International Conference on Educational Data Mining, July 6-8, 2011.
Williamson, D. M., Benmett, R. E., Bernstein, J., Foltz, P. W., Landauer, T. K., Rusin, D.
P., Way, W. D., & Sweeney, K. (2010). Automated scoring for the assessment of
common core standards. Educational Testing Service, Person Education, The
College Board.
Williamson, D. M., Xi, X., & Breyer, F. J. (2012). A framework for evaluation and uue of
automated scoring. Educational Measurement: Issues and Practice, 31(1), 2-13.
Winne, P.H., & Hadwin, A.F. (1998). Studying as self-regulated learning. In D.J. Hacker,
J.E. Dunlosky, and A.C. Graesser (Eds.). Metacognition in Educational Theory and
Practice, 277-304. Mahwah: Lawrence Erlbaum Associates.
Winne, P.H. (2001). Self-regulated learning viewed from models of information
processing. In B.J. Zimmerman and D.H. Schunk (Eds.). Self-regulated learning
and academic achievement: Theoretical perspectives (2nd Ed.), 153-189. Mahwah:
Lawrence Erlbaum Associates.
Winne, P.H. (2011). A cognitive and metacognitive analysis of self-regulated learning. In
B.J. Zimmerman and D.H. Schunk (Eds.). Handbook of Self-Regulation of
Learning and Performance, 15-32. New York: Routledge.
Yang, Y., Buckendahl, W., Juszkiewicz, P. J., & Bhola, D. (2012). A review of strategies
for validating computer – automated scoring. Applied Measurement in Education,
15(4), 391 – 412.
Yin, J. (2012). Using tree diagrams as an assessment tool in statistics education.
Educational Assessment, 17(1), 22-49.
Young, G., & Householder, A. S. (1938). Discussion of a set of points in terms of their
mutual distances. Psychometrika, 3(1), 19-22.
Zhang, M. (2013). Contrasting automated and human scoring of essays. Educational
Testing Service. Retrieved from: www.ets.org.
Zeller, R. A. (1998). Validity. Keeves, John P., 322-330.
172 Zengina, K., Esgia, N., Erginerb, E., & Aksoya, M. E. (2011). A sample study on applying
data mining research techniques in educational science: developing a more meaning
of data. Procedia Social and Behavioral Sciences, 15, 4028–4032. doi:
10.1016/j.sbspro.2011.04.408
173 Índice das Figuras
Figura 1.4.3.1.Modelo estrutural sugerido (elaboração própria) pela estrutura do sistema
PEG. O modelo estrutural – a tracejado – está indefinido. ..................................... 21
Figura 1.4.4.2.1.Representação geométrica das proximidades de palavras do texto, obtida
com o SPSS. Neste caso, a dimensão de espaço é k= 1. ......................................... 28
Figura 1.4.4.3.1.Grafo correspondente à tabela 1.4.4.2.2. depois de ter eliminado os arcos
correspondentes à frequências mais baixas. ............................................................ 31
Figura 1.4.4.3.2.Proximidades entre as palavras e os textos da tabela F através da análise
SVD. A azul as palavras, a vermelho (linhas) os textos. ......................................... 34
Figura 1.4.6.1.Esquema de treino de um sistema de classificação automática de textos.
................................................................................................................................. 45
Figura 1.4.6.2.Pretende-se, neste caso, explicar a classificação h a atribuir (mediante o
modelo) ao texto T em função das k= 3 distâncias (d1, d2, d3) desse texto aos 3
vizinhos mais próximos T1, T2, T3 aos quais os classificadores humanos atribuíram
previamente as classificações h1, h2, h3. .................................................................. 46
Figura 2.2.1.1.Armazenamento da informação de base e construção de espaços semânticos
a partir de textos produzidos pelos professores e manuais escolares relativos ao
ensino de certas matérias. ........................................................................................ 57
Figura 2.2.1.2.Estrutura do sistema de avaliação de conhecimentos com base em textos de
resposta a questões abertas. ..................................................................................... 58
Figura 2.2.3.1.Os vetores representam os textos R1, R2, R3 e os pontos ○ representam os
cinco locais em que se sobrepõem as 33 palavras. Neste caso, r= min (n, p) = min
(33, 3)= 3. ................................................................................................................ 67
Figura 2.2.3.2.Os textos R1, R2, R3 estão representados por vetores e as 33 palavras estão
projetadas no plano E1, E2. Face à sobreposição de palavras com as mesmas
coordenadas, o resultado é pouco legível. ............................................................... 67
Figura 2.2.3.3.A matriz C que se obtém empilhando as matrizes A e B contém os
marcadores de palavras e textos no espaço de dimensão r. ..................................... 70
174 Figura 2.2.4.1.1.Ilustração do Método 1. Os cossenos dos ângulos entre textos a classificar
(lado esquerdo) e a da amostra de treino (topo) estão no corpo da tabela............... 76
Figura 2.2.4.1.2.Biplot 3D correspondente ao Método 1. Na figura, T1, T2, …, T15 são
textos e W1, W2, …, W27 são palavras do ES. .......................................................... 77
Figura 2.2.4.2.1.Os textos dos estudantes são representados pelos vetores (marcadores) t1,
t2, …, t10. O texto da resposta do professor está representado pelo vetor Tp. A
classificação do estudante t5 é função do cosseno do ângulo  entre esse texto e o
vetor Tp. ................................................................................................................... 80
Figura 3.2.1.Texto relativo ao estudante identificado pelo número convencional 0385,
relativo ao Exame da Português do 12º ano, Curso Científico-Humanísticos, depois
de transcritos a partir do original manuscrito. ......................................................... 88
Figura 3.3.1.Consulta de um texto de resposta de um estudante. No lado esquerdo os
elementos que permitem identificar o texto. Do lado direito o texto. ..................... 90
Figura 3.3.2.Palavras funcionais, separadores e outros símbolos a excluir da análise. ...... 90
Figura 3.3.3.Exemplo de palavras funcionais, separadores e outros símbolos. .................. 91
Figura 3.5.1.1.Distribuição das classificações do professor na A). .................................... 96
Figura 3.5.1.2.Distribuição das classificações nos textos de resposta à B)......................... 96
Figura 3.5.1.3.Distribuição das classificações do professor nos textos de resposta ao G3.
................................................................................................................................. 97
Figura 3.5.1.4.Distribuição do número de palavras no texto para as respostas à A). ......... 97
Figura 3.5.1.5.Distribuição do número de palavras no texto para as respostas à B). .......... 98
Figura 3.5.1.6.Distribuição das classificações do professor nos textos de resposta ao G3.
................................................................................................................................. 98
Figura 3.5.1.7.Gráfico de dispersão ClassProf, NPalTexto para A). Deteta-se uma certa
tendência crescente. ............................................................................................... 100
Figura 3.5.1.8.Gráfico de dispersão ClassProf, NPalTexto para B). Não há relação
percetível. .............................................................................................................. 100
Figura 3.5.1.9.Gráfico de dispersão ClassProf, NPalTexto para o Grupo III. Tendência
crescente. ............................................................................................................... 101
175 Figura 3.5.2.1.Histograma da classificações dos professores. .......................................... 102
Figura 3.5.2.2.Histograma dos comprimentos dos textos em número de caracteres. ....... 102
Figura 3.5.2.3.Gráfico de dispersão das classificações do professor em função do número
de caracteres dos textos. Tendência crescente. ...................................................... 103
Figura 3.5.3.1.Histograma
da
distribuição
do
número
de
caracteres
do
texto
(comprimento). ...................................................................................................... 104
Figura 3.6.1.Textos das respostas de dois estudantes à questão da caracterização do
conceito de qualidade total. ................................................................................... 106
Figura 3.7.1.Biplot dos 10 textos produzidos por 10 estudantes identificados por C= {11,
14, 17, 20, 23, 26, 29, 32, 35, 38}. ........................................................................ 111
Figura 3.7.2.Texto do estudante 20 ao responder à A). ................................................... 113
Figura 3.7.3.Texto do estudante 32 ao responder à A). .................................................... 113
Figura 3.7.4.Cossenos (de valor superior a 0.4) entre os textos do conjunto {11, 14, 17, 20,
23, 26, 29, 32, 35 e 38} e as palavras usadas nesses textos. ................................. 114
Figura 3.7.5.Projeção da totalidade dos estudantes na direção do estudante 23, com a nota
máxima entre os 10 estudantes do conjunto C= {11, 14, 17, 20, 23, 26, 29, 32, 35,
38}. ........................................................................................................................ 115
Figura 3.7.6.Biplot construído com os 60 textos de resposta à A) dos dados EX-MIN
(prova 639/2ª fase, 2008)....................................................................................... 116
Figura 3.7.7.Cossenos (de valor superior a 0.4) entre as palavras e os 62 textos de resposta
à A) calculados com uma dimensão d= 30 correspondente a 89% da informação
total. ....................................................................................................................... 117
Figura 3.8.3.1.Dendograma dos textos GESTÃO. Escala de dissemelhança na parte
superior da janela do lado direito. ......................................................................... 119
Figura 3.8.4.1.Resultado da análise de clusters dos textos da resposta à questão GI A) dos
exames nacionais de Português 2008. ................................................................... 122
Figura 3.9.1.1.Organização dos dados para treinar um classificador automático. ............ 125
Figura 3.9.2.1.Uso do PAET para contagem de palavras dos 90 textos do ES usados para
construir o ES. ....................................................................................................... 127
176 Figura 3.9.2.2.Biplot correspondente aos dois primeiros eixos do espaço semântico relativo
a 90 textos e 5678 palavras envolvidos no ensino do Memorial do Convento de José
Saramago, representando 27% da informação total. ............................................. 128
Figura 3.9.2.3.Espaço semântico retido para análise, baseado em 88 textos usados no
ensino do Memorial do Convento de José Saramago. ........................................... 129
Figura 3.9.3.1.Biplot que permite visualizar nas duas primeiras dimensões, as projeções
sobre o ES dos textos das amostras AT e T........................................................... 132
Figura 3.9.3.2.Nas duas primeiras colunas, comparação das notas atribuídas pelo sistema
PAET (à esquerda) e as notas atribuídas pelos professores. ................................. 133
Figura 3.9.3.3.Regressão das classificações do professor em função das classificações do
sistema. .................................................................................................................. 134
Figura 3.9.3.4.Gráfico de coeficiente de correlação (ClSys, ClProf) em função de k para
vários valores da percentagem da AT. .................................................................. 136
Figura 3.9.4.1.Biplot correspondente aos textos das respostas às questões A) e B), relativas
ao Memorial do Convento. .................................................................................... 137
Figura 3.9.4.2.Biplot construído com os dois primeiros eixos da decomposição de uma
matriz abrangendo as respostas A), B) e GIII. ...................................................... 139
Figura 3.9.4.3.Biplot correspondente aos três primeiros eixos da análise envolvente GI A),
B) e GII. ................................................................................................................. 140
Figura 3.9.4.4.Espaço semântico relativo ao Memorial do Convento de José Saramago e as
projeções dos textos das 120 respostas à A) e à B). .............................................. 141
Figura 3.9.4.5.Amplificação de uma zona da figura 3.9.4.4. permitindo ver com maior
nitidez as amostras de treino (vetores a negro) e amostra de teste (vetores a verde).
............................................................................................................................... 142
Figura 3.9.4.6.Resultados da classificação (usando o espaço semântico relativo ao
Memorial do Convento) de 60 textos de resposta (relativos a A) e a B)). ............ 143
Figura 3.9.4.7.Significado da reta de regressão da figura 3.9.4.6. .................................... 144
Figura 3.9.5.1.Biplot correspondente às duas primeiras dimensões do espaço semântico
construído com a totalidade das respostas de 187 estudantes a uma questão relativa
à qualidade total..................................................................................................... 145
177 Figura 3.9.5.2.Biplot do Espaço Semântico correspondente a 85 dos textos dos dados
GESTÃO. .............................................................................................................. 147
Figura 3.9.5.3.Espaço Semântico de 77 textos de Gestão sobre o qual foram projetados os
restantes (AT e T). ................................................................................................. 148
Figura 3.9.5.4.Reta de regressão de ClProf em função de ClSys para os parâmetros (0.75,
5). ........................................................................................................................... 150
Figura 3.9.5.5.Ajustamento dos dados (ClSys e ClProf) usando um modelo quadrático. 152
Figura 3.9.5.6.Obtém-se a correlação máxima r(Clsys,ClProf) para 75% e k= 8. ............ 152
Figura 3.9.6.1.A figura mostra que a reta de previsão dos resultados do ministério
conhecendo os do método holístico tem fraca qualidade. ..................................... 158
178 Índice das Tabelas
Tabela 1.2.1.Avaliação formativa e sumativa (Arends, 2008). ........................................... 12
Tabela 1.4.4.2.1.Coocorrências das “palavras” wi, wj num texto. ....................................... 27
Tabela 1.4.4.2.2.Na tabela a parte triangular inferior contém as frequências absolutas e a
superior as frequências relativas; o símbolo X significa ausência de informação. . 28
Tabela 1.4.4.3.1.Frequências de ocorrência das “palavras” w1 … w10 nos textos d1 … d4. 32
Tabela 1.4.4.3.2.Componentes da SVD da matriz F. .......................................................... 33
Tabela 2.2.2.1.Representação vetorial de um corpus formado pelos documentos D1, D2, …
Dp e pelo vocabulário formado pelas formas F1, F2, …, Fn (Osuna, 2006). ........... 62
Tabela 2.2.2.2.Tabela de frequência correspondente aos textos do exemplo 2.2.2.1. ........ 64
Tabela 3.5.1.1.Distribuição da amostra. .............................................................................. 94
Tabela 3.5.1.2.Resumo das classificações do professor e do comprimentos dos textos de
resposta à A). ........................................................................................................... 94
Tabela 3.5.1.3.Resumo das classificações do professor e do comprimentos dos textos de
resposta à B). ........................................................................................................... 95
Tabela 3.5.1.4.Resumo das classificações do professor e do comprimento dos textos de
resposta ao Grupo III. .............................................................................................. 95
Tabela 3.5.2.1.Caracterização das variáveis classificação do professor e número de
palavras dos textos de resposta. ............................................................................. 101
Tabela 3.6.1.Frequências de ocorrência das palavras nos textos das duas respostas
constantes da figura 3.6.1. ..................................................................................... 107
Tabela 3.6.2.As palavras dos textos das respostas dos estudantes 129 e 143 dispostas de
forma a facilitar as comparações. .......................................................................... 109
Tabela 3.8.3.1.Tabela de contingência cruzando as classificações do professor com as
classes do processo de análise de clusters (distancia euclidiana, critério de WARD).
............................................................................................................................... 120
179 Tabela 3.8.3.2Resultado do teste do qui-quadrado, obtido com o SPSS. ......................... 121
Tabela 3.8.3.3.Estatísticas da classificação dos professores correspondentes às classes
obtidas por análise de clusters (obtida com o software SPSS). ............................. 121
Tabela 3.8.4.1.Tabela de contingência cruzando as classificações atribuídas pelos
professores e as classes obtidas por análise de clusters......................................... 123
Tabela 3.9.3.1.Resultados obtidos pelo classificador automático da PAET (ClSys) e
atribuídos pelos professores (ClProf). ................................................................... 134
Tabela 3.9.3.2.Coeficientes de Correlação (ClSys, ClProf) quando se varia k e a % de
textos na amostra de treino. ................................................................................... 135
Tabela 3.9.5.1.Validação do classificador para 0.75 da AT e k= 5 vizinhos a considerar no
cálculo ClSys. Valores de ClSys comparados com os valores reais ClProf.......... 149
Tabela 3.9.5.2.Árvore dos valores..................................................................................... 150
Tabela 3.9.5.3.Clsys e ClProf têm a mesma distribuição. ................................................. 151
Tabela 3.9.5.4.Comparação de médias das duas amostras de valores ClSys e ClProf. .... 151
Tabela 3.9.6.1.Classificações do Ministério e classificações atribuídas segundo o critério
holístico. ................................................................................................................ 155
Tabela 3.9.6.2.Resumos estatísticos das classificações holísticas (HOL) e do Ministério
(MIN)..................................................................................................................... 156
Tabela 3.9.6.3.Comparação de médias entre grupos MIN e HOL para as respostas à A), à
B) e Total. .............................................................................................................. 156
Tabela 3.9.6.4.Correlações entre as classificações do ministério e holístico. ................... 157
Tabela 3.9.6.5.Os resultados dos testes mostram que as distribuições (HOL) são
significativamente diferentes das distribuições (MIN).......................................... 159
180 ANEXO A
MANUAL DO PROGRAMA DE
ANÁLISE ESTATÍSTICA DE TEXTOS (PAET)
181 ÍNDICE
1.
Introdução e Funções Principais do PAET. ............................................................... 183
2.
Janela de Leitura e Análise de Textos. ....................................................................... 185
3.
Construção e Estudo de Biplots. ................................................................................ 191
4.
Janela para Relacionar Palavras e Textos. ................................................................. 194
5.
Janela para Análises de Clusters. ............................................................................... 195
6.
Janela de Classificação Automática de Textos de Resposta a Questões Abertas. ..... 198
7.
Estrutura da Tabela para Guardar Textos em Tabelas ACCESS. .............................. 203
182 1. Introdução e Funções Principais do PAET.
Este programa foi desenvolvido para apoiar, ilustrar e experimentar as ideias
principais da tese de Luís Agonia Pereira (2013) no departamento de Ciências da Educação
da Universidade Nova de Lisboa.
O programa foi concebido para implementar as ideias desenvolvidas no Capítulo II
(Metodologias) da tese em questão.
As funções principais são:
1.
Análise estatística de conjuntos de textos previamente escolhidos pelo
utilizador;
2.
Classificação automática de textos que sejam respostas a questões abertas
relativas a temas de ensino caracterizados por um certo espaço semântico (ES)
usando a metodologia do AS.
Em relação às análises estatísticas, as funções básicas dessa análise são:
1.1. Construção das tabelas de frequências dos textos selecionados (Representação
Vetorial dos Textos);
1.2. Construção de biplots usando a SVD da tabela de frequências;
1.3. Realização de análises cluster sobre os resultados da SVD da tabela de
frequências.
O programa assume que os textos (manuais de ensino, textos de respostas a
questões abertas) estão organizados em tabelas do sistema de gestão de bases de dados
ACESS integrante do Microsoft Office, segundo a estrutura que está definida no número
7 deste manual.
Além das tabelas com os textos deve existir ainda uma tabela – exterior ao ACESS
– contendo a lista de palavras funcionais.
O programa é invocado a partir do sistema Windows através do ícone que se
apresenta na figura 1.1. e que invoca a janela principal da figura 1.2.
183 Figura 1.1.
Ícone de invocação do PAET.
Figura 1.2.
Janela principal do programa PAET.
Pressionando a parte central desta janela é apresentada uma janela de leitura do
nome do ficheiro “gramática” onde estão armazenadas as palavras funcionais que não
devem ser consideradas na construção da tabela de frequências, sendo apresentada a janela
seguinte – ver figura 1.3.
184 2. Janela de Leitura e Análise de Textos.
Figura 2.1.
Janela se seleção e análise de textos.
Chega-se a esta janela depois de ter pressionado o ecrã de entrada (figura 1.2.) e
indicada a posição do ficheiro designado “gramática” que guarda as palavras funcionais.
FUNÇÕES – Escolher os textos a analisar, identificar todas as palavras em todos
os textos escolhidos e suas frequências (excluindo as palavras funcionais contidas no
ficheiro “gramática”), construir a representação vetorial dos textos (palavras ×
frequências), realizar a decomposição em valores e vetores singulares e construir biplots
com as duas primeiras componentes da decomposição anterior.
FUNÇÃO DOS BOTÕES
Botão de escolha da base de dados (entensão “.mdb”) e, dentro da base de
dados, escolha da tabela contendo os textos que interessa analisar. Veja figuras
2.2., 2.3., 2.4.
185 Figura 2.2.
Escolha da base de dados contendo os textos a escolher (extensão “.mdb”).
Figura 2.3.
Dentro da base de dados escolha da tabela contendo os textos (classificador,
neste caso).
186 Figura 2.4.
Escolhida a tabela com os textos, estes aparecem identificados à esquerda e cada
um dos textos apontados aparece na janela da direita.
Botão de seleção de textos a analisar, dentro da tabela escolhida. Os textos
podem ser escolhidos usando as teclas Shift ,  ou usando a tecla Ctrl e
apontando os textos desejados. Caso não seja selecionado nenhum texto,
quando se prime este botão aparece uma janela de diálogo de leitura do nome
do ficheiro de texto onde estão os identificadores dos registos com os ficheiros
selecionados. Com os textos selecionados calcula a tabela de frequências e
apresenta-as. Veja a figura 2.5.
Botão que prepara a análise: obtém a representação vetorial dos textos (palavras
× textos) e calcula a decomposição em valores e vetores singulares,
apresentando o resultado dessa decomposição. Apresenta também a matriz que
é submetida a análise (Matriz para LSA) e que pode ser exportada para um
ficheiro de texto e lida por ACESS, SPSS ou EXCEL. Veja figuras 2.6., 2.7.,
2.8.
187 Figura 2.5.
Frequências das palavras nos textos selecionados.
Figura 2.6.
Escolha da opção de transformação da matriz de frequências antes da
decomposição SVD.
188 Figura 2.7.
Resultado da SVD da matriz de frequências (valores singulares, variância
acumulada 4 vetores singulares à esquerda e à direita).
Figura 2.8.
Matriz com as frequências × textos antes da decomposição SVD.
189 FUNÇÃO DOS BOTÕES
Apresenta o biplot construído com os eixos horizontal (eixo 1) e vertical (eixo
2) que forem indicados. Ver figura 4.1. com a janela de apresentação e estudo
de biplots. Ver à frente janela 3.
Análise de clusters. Este botão realiza uma análise de cluster dos textos
usando os resultados da decomposição em valores e vetores singulares da
matriz de frequências. Ver janela 4.
Invoca o SAAT integrado neste sistema. Classificar automaticamente textos
de resposta a questões abertas que tenham sido selecionados usando como
referência o espaço semântico corrente. Este espaço semântico resulta da
decomposição em valores e vetores singulares corrente, com a qual são
produzidos os biplots e as análises de clusters correntes. Veja janela 5.
Guarda num ficheiro de texto os identificadores, na tabela em uso, dos textos
que foram selecionados. Embora não seja obrigatório sugere-se que quando
estes textos foram usados para construir um espaço semântico a usar numa
futura sessão, se comece o nome do ficheiro por “ES”, como no exemplo
seguinte: ES_ xxx.txt.
Isto facilita muito a busca dos ficheiros deste tipo. Veja janela 5.
Em síntese, a sequência habitual para utilização da janela 2 é:
Escolher a base de dados e a tabela, selecionando textos.
Examinar os textos selecionados ou lidos de um ficheiro quando nada foi
selecionado.
Decompor a matriz em valores e vetores singulares.
Criar e estudar biplots com os resultados da decomposição.
190 Análise de clusters usando as coordenadas da SVD.
Realizar uma classificação automática, ascendente hierárquica (aglomerativa)
de textos a classificar, usando o ES corrente.
Guardar num ficheiro de texto, os identificadores dos textos que foram
selecionados para análise e que podem vir a ser usados numa futura sessão.
3. Construção e Estudo de Biplots.
Figura 3.1.
Janela para construção e estudo de biplots.
Chega-se a esta janela pressionando na janela 1 o botão
.
FUNÇÕES – As funções principais a realizar, a partir desta janela, são as de
preparar a estrutura de dados usada para a representação gráfica dos biplots e apresentar o
191 biplot do plano fatorial que for escolhido (escrevendo nas janelas do topo o número do
eixo horizontal (eixo 1) e vertical (eixo 2) a usar nesse gráfico.
As funções dos botões que integram esta janela (veja figura 3.1., segunda linha da
esquerda para a direita):
Este botão organiza os dados necessários à construção dos gráficos dos biplots.
O resultado aparece na grade do lado esquerdo. Para cada palavra aparece o
identificador da palavra seguida de um vetor de números que são as
coordenadas no espaço semântico dessa palavra.
Terminadas as palavras seguem-se os textos tendo cada texto o vetor de
coordenada correspondente ao seu lado direito. O valor da coluna “Atributo” é
“0” para as palavras e “1” para os textos.
Botão de pintura do biplot escolhido. Depois de ter acionado o botão anterior,
este apresenta o gráfico do biplot cujos eixos estão em eixo 1 e eixo 2. Ver
figura 3.1., um exemplo.
Este botão permite amplificar a escala. Depois de ter pressionado este botão,
marcar com o rato um retângulo sobre o gráfico: “click, arrastar, soltar” o
botão esquerdo do rato. O resultado é que a parte marcada do gráfico passa a
ocupar agora todo o espaço visível da janela gráfica.
Este botão permite realizar translações do gráfico. Depois de o pressionar,
fazer “click” com o apontador e, mantendo o botão esquerdo pressionado,
arrastar todo o gráfico.
Este botão permite identificar todos os objetos (textos e palavras) que se
encontram dentro de uma janela que foi marcada, passando a lista respetiva
para uma grade (designada Grupos). Veja exemplo na figura 3.2. A sequência
é: premir o botão esquerdo do rato, fazer “click” no canto superior esquerdo da
janela que interessa, arrastar, largar. O resultado é uma lista como a que se
apresenta na figura 3.2.
Apresenta a última imagem, antes da última transformação.
192 Guarda no ficheiro que for designado – com formato “.BMP” – e passa para o
clipboard
a imagem do biplot, de onde pode ser copiada por “paste” para
outra aplicação qualquer como o Word, Excel, etc.
Estudar relações entre palavras e textos.
Sequência típica.
Carregar os dados do biplot.
Eixo 1 e Eixo 2 – escolher os eixos do biplot a representar. Exemplo: (15, 18).
Apresentar o gráfico do biplot definido pelos respetivos eixos.
Usar os botões de expansão, translação, etc., para estudar o gráfico.
Inspecionar uma certa zona do biplot e ver que textos e palavras a integram.
Estudar relações entre palavras e textos.
Figura 3.2.
Lista de palavras e textos que estão numa janela marcada sobre o gráfico.
193 4. Janela para Relacionar Palavras e Textos.
Figura 4.1.
Janela para estudo de relações entre palavras e textos.
Usando a coluna 3 da grade do lado esquerdo (1ª coluna das coordenadas dos textos
e das palavras), podem marcar-se duas sequências quaisquer: (palavras, palavras),
(palavras, textos), (textos, textos), usando um menu flutuante a que se tem acesso
pressionando o botão direito do rato. Ver figura 4.1. Depois de marcar uma sequência,
indicar se é A ou B.
Feito isto pressionar o botão do canto superior esquerdo
. Na grade do
lado direito aparecem os cossenos de valor acima do limiar que estiver inscrito na caixa à
direita da frase: “Mostrar Cossenos Superiores a:”. O valor por omissão é 0.75, mas pode
ser indicado qualquer valor entre “-1” e “+1”. Deste modo, é possível saber que objetos
estão mais relacionados entre si a um nível de semelhança superior ao limiar indicado.
194 Figura 4.2.
Tendo marcado na grade do lado esquerdo (coluna 1) os textos e as palavras a
relacionar, a grade da direita apresenta os cossenos dos respetivos ângulos.
5. Janela para Análises de Clusters.
Figura 5.1.
Janela de Análises Clusters.
195 Chega-se a esta janela através do botão
.
FUNÇÕES – Permite realizar classificação automática aglomerativa (ascendente
hierárquica) de textos representados por coordenadas obtidas em resultado da
decomposição em valores e vetores singulares da matriz de frequências.
A função dos botões associada a esta janela é:
Ao premir este botão – caso já tenha sido realizada a decomposição em valores
singulares da matriz de frequências – aparece na janela gráfica do lado direito
(veja figura 5.1.) uma árvore – deitada – que representa uma classificação
ascendente hierárquica dos textos que estiverem selecionados.
A escala indicada é o índice de dissemelhança. Os textos – identificados por
números inteiros sequenciais dentro da seleção de textos – estão ao nível “0” e
vão sendo agregados em classes cada vez menos homogéneas até que todos
estejam agregados – neste caso, ao nível 28 numa única classe.
Se clicar no botão direito do rato aparece um menu flutuante que permite, entre
outras funções – refazer a árvore, translação (pam), zoom, copiar para o
clipboard e guardar a imagem – e cortar (cut) a árvore ao nível em que
posicionarmos o rato. Veja a figura 5.2.
Quando se corta a árvore ao nível correspondente à posição do rato – veja
figura 5.3. – o conteúdo de cada um dos ramos que existem a esse nível é
mostrado na grade do lado esquerdo. Nessa grade aparece não só a
identificação sequencial dos textos na seleção efetuada (1, 2, 3, …) como o
identificador do texto na tabela da base de dados, a classe da arvore a que
pertence o texto e a classificação atribuída pelo professor a esse texto – no caso
de respostas a questões de resposta aberta.
Este botão – canto superior esquerdo da figura – não só ordena os textos pela
classe resultante da análise de clusters, juntando os textos da mesma classe –
como exporta estes resultados para um ficheiro de texto a designar pelo
utilizador. Veja figura 5.4.. este ficheiro de texto pode ser importado por
196 EXCEL, SPSS, ACCESS para ser estudado e usado por qualquer desses
sistemas.
Este botão não está ainda implementado na versão atual.
Figura 5.2.
Com o botão direito do rato tem acesso a um menu flutuante que permite
inspecionar a árvore e cortá-la a um nível arbitrário.
Figura 5.3.
Corte da árvore ao nível 18 de dissemelhança. A árvore fica cortada em cinco
ramos cujo conteúdo aparece na grade do lado esquerdo.
197 Figura 5.4.
Guardar num ficheiro de texto do resultado da análise de clusters.
6. Janela de Classificação Automática de Textos de Resposta a Questões
Abertas.
Figura 6.1.
Janela para classificação de textos de resposta a questões abertas.
198 Esta janela é invocada pelo botão
na janela 2.
FUNÇÕES – Este botão invoca o sistema automático de avaliação dos textos
(SAAT) produzidos por estudantes em resposta a questões abertas, posicionando os textos
escolhidos no espaço semântico corrente.
As funções dos botões são as seguintes:
Permite que o utilizador fixe os valores dos parâmetros seguintes:
 Método de Classificação (na versão atual apenas está disponível o
Método 1).

Percentagem de Variância.
Permite escolher a percentagem de variância captada pelo espaço
semântico a partir da tabela de frequências.
Um valor muito elevado é contraproducente (introduz ruído).
Um valor demasiado baixo não tem dimensionalidade suficiente.
O valor por omissão é 85% que corresponde a uma dimensionalidade d
próxima de (1/2)/p em que p é o número de textos.

Percentagem da Amostra de Treino.
Da amostra de textos selecionados para classificação, uma certa parte é
reservada para o treino (AT) do classificador e o resto para testar o
classificador (T).

Número de vizinhos mis próximos.
É o número (k) de vizinhos no ES de um certo teste que vão ser usados
para definir o resultado a atribuir a um certo texto a classificar (k= 1, 2, …,
8).
Escolha da base de dados e dentro desta a tabela onde se encontram os textos
classificados por um professor a usar para amostra de treino (AT) e amostra de
teste (T). Uma vez apresentados os textos, aqueles – distintos dos usados para
definir o Espaço Semântico (ES) – são marcados com auxilio do rato
(apontando os que interessam) e as teclas Shift  (série contínua) ou Ctrl
(marcar um a um). Veja figura 6.2.
199 Esta tecla lê os textos marcados e procede à contagem de palavras e suas
frequências segundo um processo idêntico à função equivalente quando da
seleção de textos para o ES. Ver figura 6.3.
No caso de não terem sido marcados quaisquer textos, o programa pede ao
utilizador que diga qual o ficheiro de texto onde estão identificados os textos a
usar – e que foram guardados no final de uma sessão anterior de classificação.
No final são apresentadas as frequências das palavras nestes textos para
inspeção do utilizador. Veja figura 6.4.
Treino do classificador e sua utilização para classificar a amostra de teste (T).
Tendo em conta os parâmetros escolhidos (percentagem de variância,
percentagem da AT, número de vizinhos mais próximos) o SAAT vai
determinar os cossenos dos ângulos entre cada texto a classificar na amostra T
e cada um dos textos na AT. Em seguida, considerando os k mais próximos
(maiores cossenos) obtém-se uma classificação Clsys. O resultado aparece na
figura 6.5. em que as colunas Clsys e ClProf têm os resultados atribuídos pelo
sistema e as classificações atribuídas pelo professor à amostra de treino (AT)
correspondentes à escolha de parâmetros correntes.
A coluna “correlação” contém a correlação entre as notas atribuídas pela
máquina (Clsys) e as notas atribuídas pelo professor à amostra de teste (T).
Este botão grava os resultados num ficheiro de texto que pode ser lido por
EXCEL, SPSS para estudo estatístico aprofundado.
Permite gravar num ficheiro de texto os identificadores dos textos usados num
certo estudo, para uso futuro.
Sugere-se que o nome destes ficheiros comece por “T_” afim de facilitar
futuras consultas.
Exemplo: T_yyyy.txt
200 Figura 6.2.
Apresentação das frequências dos textos escolhidos para a constituição da
amostra de treino e de teste.
Figura 6.3.
Seleção manual dos textos a usar na AT e na amostra T.
201 Figura 6.4.
Indicação do ficheiro de texto onde estão os identificadores dos textos a usar no
treino.
Figura 6.5.
Resultados do classificador.
202 7. Estrutura da Tabela para Guardar Textos em Tabelas ACCESS.
A ordem dos campos é importante. Outros campos podem ser adicionados depois
de ClasProf.
IDTEXTO – Number
TEMA – Text (20)
TITULO – Text (20)
AUTOR – Text (20)
DATA – Date/Time
TIPTEXT – Text (10)
PARTE – Text (10)
SPARTE – Text (10)
TEXTO – MEMO
CLASPROF – Number 203