Qualidade de Textos Extensos:
Text Matrix como Artefato para Análise da Dimensão Coesão
Autoria: José Osvaldo De Sordi, Manuel Meireles
A elevada demandada de tempo para elaboração de texto conciso e coeso está entre as causas
para proliferação de textos extensos, que estão mais sujeitos a problemas de baixa coesão e,
conseqüentemente, percebidos como de baixa qualidade. Esta pesquisa aborda este problema,
apresentando um artefato (Text Matrix), composto por procedimentos e algoritmos
codificados em softwares, com o objetivo de analisar a coesão entre as seções de textos.
Aplicou-se a abordagem design science research para desenvolver, testar e comprovar a
utilidade da Text Matrix. 127 orientadores e orientandos foram treinados na utilização do
artefato. A análise da percepção destes usuários no desenvolvimento de textos extensos
(dissertações) demonstrou a facilidade de operação e a eficácia da Text Matrix em identificar
problemas de coesão.
Keywords: qualidade da informação; documento extenso; texto coeso; desing science
research.
1
1. O desafio de textos extensos e coesos
If I had more time, I would have written a shorter letter.
Esta frase pode ser considerada um aforismo pertinente à qualidade da informação, por
evidenciar a dinâmica entre tempo para elaboração da redação, abrangência do conteúdo e
coesão do texto. A idéia originária é atribuída ao matemático e filósofo francês Blaise Pascal,
conforme texto encontrado em uma de suas cartas de 1656: “The present letter is a very long
one, simply because I had no leisure to make it shorter” (Pascal, 2013, p.240). Contrariando o
senso-comum, comunicar-se por meio de um texto longo é mais rápido e fácil do que
transmitir o mesmo conteúdo utilizando-se de um texto conciso e coeso. O escritor, jornalista,
diplomata e médico português, Júlio Dantas, expressou sua percepção a respeito do ato de
escrever: “O que é difícil não é escrever muito; é dizer tudo, escrevendo pouco” (Victoria,
1966). Eva (2010, p.432) descreve uma das dificuldades ao desenvolvimento de textos
concisos e coesos: “using fewer words requires that authors think long and hard about the core
messages they wish to express. Every word must be chosen deliberately, every thought linked
and articulated in a way that conveys exactly what is meant and nothing more”.
A característica concisão é requerida não apenas por tornar o texto mais atraente aos leitores,
pela facilidade de leitura (Eva, 2010), mas também para evitar algumas disfunções que
reduzem a qualidade dos textos extensos, por exemplo, a maior probabilidade de idéias
desconexas ou mesmo contraditórias. Na ciência da informação, a característica
“representação concisa” (concise representation) está presente na maioria das taxionomias
associadas às dimensões de qualidade da informação (Huang, Lee, & Wang, 1999). No
ambiente organizacional, a falta de tempo, a falta de habilidade técnica para elaboração de
texto conciso e coeso, são algumas das causas para proliferação de textos extensos,
genericamente denominados de relatórios. O texto extenso apresenta alguns desafios
específicos em termos de qualidade da informação; um aspecto crítico é a coesão entre suas
diversas seções de texto.
Algumas das dimensões de qualidade da informação são facilmente percebidas pelo usuário,
passíveis de serem avaliadas pelos leitores desde a primeira interação, por exemplo, ao ler as
meta-informações na leitura do tipo scanning (Ohno, 2007). Isto ocorre, freqüentemente, com
as dimensões credibilidade da fonte, abrangência e atualidade, bastando o leitor observar,
respectivamente, o nome do autor, o número de páginas e/ou bytes do conteúdo físico/digital,
e a data de desenvolvimento do conteúdo. A análise da dimensão coesão exige maior
envolvimento do leitor com a informação, demandando a leitura do texto e,
conseqüentemente, mais tempo e esforços. Para quem desenvolve o texto extenso é
igualmente desafiador averiguar a coesão, considerando os diferentes momentos, muitas vezes
envolvendo mais de um autor, sem uma seqüência ou ordem pré-definida. Esta última
característica, em função do pensar e redigir estarem intrinsecamente associados e por ser o
ato de redigir um exercício lógico, resultando muitas vezes na revisão e alteração do que já foi
escrito, bem como na inserção de novos textos inicialmente não previstos (Huff, 1998).
A importância da dimensão coesão para a comunicação e a dificuldade para obtê-la e analisála, torna-a bastante relevante para atual sociedade da informação, caracterizada pelo excesso
de informações em relação à capacidade (ou vontade) das pessoas em processá-las (Anderson
& Palma, 2012). Evoluções contínuas das tecnologias de informação e comunicação
impulsionam a ampla oferta de informações para a sociedade, fenômeno conhecido como
information explosion (Ma, Wang, Lai, & Zheng, 2010). Alguns números deste fenômeno em
2
2013: o total de web sites cresce em torno de 10% a cada semestre (Netcraft, 2013); o volume
de conteúdo digital (bytes) armazenado nas organizações cresce a uma taxa de 35% a 50%,
enquanto que o volume de bytes processados é de aproximadamente 60 terabytes, mil vezes
maior que o volume processado no início do século XXI (Beath, Becerra-Fernandez, Ross, &
Short, 2012). Destaca-se que a natureza deste conteúdo é composta cada vez mais por
informações: “most of the data companies collect, create and manage today are unstructured located in word processing documents, spreadsheets, images and video that can’t easily be
retrieved or interpreted” (Beath et al., 2012, p.18).
No contexto da sociedade da informação, os diversos profissionais que desenvolvem
informações são denominados de information workers (Gibbs & Linley, 2000), sendo este o
grupo que apresenta maior taxa de crescimento e presença nas organizações (Karmarkar &
Apte, 2007). Esta pesquisa objetiva apresentar um artefato tecnológico, direcionado aos
information workers, tendo como principal função a análise da coesão de textos extensos. O
artefato é denominado de abordagem para análise de coesão de textos extensos ou Analisador
de Coesão para Textos Extensos (AnaCoTEx). A abordagem é composta por dois softwares
disponíveis via Internet (cloud computing), um método de trabalho e um web site que permite
aos information workers acesso aos softwares e ao descritivo do método de trabalho. Estes
componentes da abordagem estão disponíveis tanto em inglês quanto em português no
endereço eletrônico: www.anacotex.com
As motivações para o desenvolvimento da abordagem AnaCoTEx partiram da necessidade da
atuação profissional dos autores, caracterizadas por: 12 anos de atuação como quality advisor
de consultoria internacional (big sixs), com a incumbência de analisar a qualidade de
relatórios extensos a serem entregues aos clientes; 16 anos de orientação a 27 doutorandos,
com a incumbência de auxiliar no desenvolvimento de dissertações, teses e relatórios de
pesquisa, na maioria das vezes na forma de documentos extensos; elaboração de 8 livros,
sendo que 3 deles extensos, tendo já ultrapassado a segunda edição. Estas demandas
representam situações concretas do ambiente empresarial e acadêmico, que ilustram cenários
para aplicação da abordagem, como também auxiliam a justificar a importância da abordagem
AnaCoTEx.
2. Conceitos necessários para compreensão do artefato
Para o entendimento do problema e da utilidade associados ao artefato proposto é necessário
conceituar uma dimensão de qualidade da informação crítica aos textos extensos: a coesão.
Para compreensão da arquitetura e operação do artefato é necessário o conhecimento de
alguns conceitos associados a duas técnicas que constituem o artefato: cross-references e
análise de redes. Estas entidades são descritas nos parágrafos a seguir.
A dimensão cohesion is the "semantic ties" between different parts of the text which makes
them dependent on each other for full interpretation (Eggins, 1994). Na text linguistics a
coesão está associada a unity and semantic interdependence within text, ou seja, volta-se para
organização interna do texto. "Cohesion occurs where the interpretation of some element in
the discourse is dependent on that of another. The one presupposes the other, in the sense that
it cannot be effectively decoded except by recourse to it. When this happens, a relation of
cohesion is set up, and the two elements, the presupposing and the presupposed, are thereby at
least potentially integrated into a text” (Halliday & Hasan, 1976, p.1). No contexto da
abordagem AnaCoTEx, voltada para textos extensos, as "semantic ties" são extrapoladas para
3
o contexto da estrutura do documento, envolvendo conexões entre capítulos, sub-capítulos e
demais níveis subseqüentes da estrutura.
Na text linguistics utiliza-se o termo cohesion devices para indicar as formas de conectar
idéias entre frases e entre parágrafos de forma coerente. Os cohesion devices são recursos
fundamentais à comunicação, considerando que “without coherence, a text would be nothing
but an arbitrary sequence of unrelated sentences” (Van Dijk, 1995, p.385). Estes dispositivos
que dão coerência ao texto podem ser de diferente natureza, como: co-reference, textual
deixis, and hence of pronominalization and other typical expressions. Para conexão entre
seções de texto em documentos extensos, muitas vezes separadas por dezenas de páginas,
utiliza-se o recurso de cross-reference. A abordagem AnaCoTEx procura no texto extenso a
existência de cross-references como meio de identificar as conexões entre as seções do
documento.
Cross-reference is a reference within a text to another part of the text (Collins, 2013). A crossreference deve indicar ao leitor o local do texto onde o tema já foi abordado. Uma forma
simples e prática de representar as cross-references é por meio de colchetes, onde, um único
dígito, no forma [n.] indica o capítulo n; [n.p.] indica o sub-capítulo p, do capítulo n; [n.p.q.]
indica o sub-subcapítulo q, do sub-capítulo p, do capítulo n; assim sucessivamente para os
demais itens da estrutura de itens do texto. Assim como nas referências externas, o fato de se
encontrar uma cross-reference não implica, obrigatoriamente, na necessidade de segui-la e
redirecionar a leitura para outra parte do texto; entretanto elas são particularmente úteis para a
exploração de um conceito ou tópico, devendo ser compreendida como uma sugestão de
leitura de apoio, caso o leitor necessite. Eco (1989) afirma que as cross-references destinamse não só para evitar repetir demasiadas vezes as mesmas coisas, mas servem também para
mostrar a coesão do texto. Eco (1989, p.125) argumenta que “uma tese bem organizada
deveria estar cheia de cross-references”.
A técnica network analysis (NA) é útil para demonstrar as conexões e relações entre atores.
Fundamentada matematicamente na teoria dos grafos, com a geração de indicadores e de
diagramas de redes, a NA permite analisar uma rede a partir das relações entre seus atores
(Wasserman & Faust, 1994). “A fundamental axiom in network analysis is the notion that
actors are not independent but rather influence each other. There are many aspects of and
mechanisms for this, but perhaps the mostly commonly invoked is the mechanism of direct
transmission or flows. For example if two nodes are friends, they will interact and, in so doing
ideas and information will be transmitted from one to the other” (Borgatti & Li, 2009, p.9).
Na abordagem AnaCoTEx os capítulos, sub-capítulos e demais níveis subseqüentes da
estrutura do texto extenso são considerados como atores da rede e as relações entre estes são
identificadas por intermédio das cross-references entre os textos. Estas informações podem
ser apresentadas graficamente, de forma ampla, apresentando todos os atores e os
relacionamentos entre eles, ou de forma específica para um ator, denominada ego-network:
“consist of a focal node ("ego") and the nodes to whom ego is directly connected to (these are
called "alters") plus the ties, if any, among the alters.” (Analytictech, 2013).
Gregor and Hevner (2013, p.350) afirmam que a seção de revisão da literatura no contexto da
design science reserach, que é o método utilizado nesta pesquisa, deve também apresentar os
“artifacts that have already been developed to solve similar problems”. Em termos de conexão
entre seções de texto, os artefatos atuais suportam apenas o desenvolvimento de conexões
para o texto, não havendo facilidades para conferência e análise do nível de coesão existente.
Para o desenvolvimento de conexões eficazes, sem repetição de textos, utiliza-se a técnica de
4
cross-references e os demais recursos lingüísticos denominados de cohesion devices, porém
não há uma técnica ou ferramenta voltada à análise de coesão entre as seções do texto.
3. Method: Design science research
Segundo Hevner, March, Park and Ram (2004, p.81) “design science research addresses
important unsolved problems in unique or innovative ways or solved problems in more
effective or efficient ways”. Quanto à díade “important unsolved problem” e “unique or
innovative ways” tem-se para esta pesquisa, respectivamente: a análise de coesão para textos
extensos e a matriz de texto (Text Matrix) integrada ao seu processo de elaboração. A Text
Matrix é elaborada a partir da identificação de cross-references contidas no texto extenso, que
geram insumos (dados) para matriz, onde são estruturados e analisados segundo a técnica de
análise de redes. Estes elementos da abordagem são descritos detalhadamente na seção
seguinte: descrição da Text Matrix.
Gregor and Hevner (2013) classificam a design science research quanto: a) aos níveis de
contribuições possíveis e b) aos tipos de conhecimento gerados. As contribuições são
classificadas em três níveis: o nível um é denominado de “situated implementation of artifact”
e, costumeiramente, caracteriza-se pela operação de um novo software ou processo. Os níveis
dois e três são, respectivamente, “nascent design theory” e “well-developed design theory”. A
contribuição de nível um é explicada por Gregor and Hevner (2013, p.341): “demonstration of
a novel artifact can be a research contribution that embodies design ideas and theories yet to
be articulated, formalized, and fully understood”. O método e os softwares desenvolvidos,
testados e disponíveis na abordagem AnaCoTEx caracterizam as contribuições desta pesquisa
como de nível um. Quanto aos tipos de conhecimentos gerados pela design science research,
estes podem ser: invention, routine design, improvement and exaptation. O conhecimento do
tipo improvement concilia novas soluções para problemas já conhecidos, sendo este o tipo de
conhecimento gerado pela pesquisa descrita neste artigo: proposição de um artefato inovador
(Text Matrix) para um problema já conhecido (coesão de textos extensos). No processo de
revisão da literatura, a única pesquisa associada à mensuração da coesão não se aplica a
conteúdos do tipo texto, apenas a linhas de código de software desenvolvidas a partir de
projeto e programação orientada a objetos (Marcus & Poshyvanyk, 2005; Marcus,
Poshyvanyk, & Ferenc, 2008).
O conhecimento do tipo improvement na design science research está associado a
contribuições prescritivas, do tipo “como” funciona o artefato (Gregor & Hevner, 2013). O
conhecimento prescritivo explicita como fazer algo. Além das características do artefato,
fornece as normas tecnológicas e as regras que determinam como alcançar um resultado
desejado, em uma situação particular, com a utilização do artefato (Iivari, 2007; Kuechler &
Vaishnavi, 2008). O resultado desejado está associado à característica da utilidade, premissa
central da design science research. Contrário ao paradigm da behavioral-science, que busca
encontrar "what is true", a design science research busca criar "what is effective” (Hevner et
al., 2004). A verificação da utilidade do artefato é destacada como uma das sete guidelines da
design science research (Hevner et al., 2004): a) o objeto de estudo deve ser um artefato
(“design as an artifact”), b) o problema que o artefato se propõe a resolver deve ser relevante
(“problem relevance”), c) a avaliação da utilidade do artefato deve ser rigorosa (“design
evaluation”), d) deve haver contribuição efetiva para a área de conhecimento do artefato
(“research contributions”), e) a pesquisa deve ser rigorosa (“research rigor”), f) projeto
envolvendo um processo interativo de pesquisa com testes (“design as a search process”), e
5
g) comunicação dos resultados, inclusive para o público-alvo do artefato (“communication of
research”).
As atividades profissionais dos três autores trouxeram a evidenciação do problema pela
necessidade de observar a coesão quando da redação e evolução de textos extensos. O insight
para concepção da solução técnica originou-se da disciplina de análise de redes, ministrada
por dois dos autores desta pesquisa. Do trabalho de extrapolação da técnica junto a diferentes
contextos, como forma de evidenciar a ampla aplicação da técnica aos discentes, observou-se
a possibilidade de decomposição de textos extensos em capítulos e subcapítulos
(identificando-os como atores da rede), bem como da aplicação de cross-references para
definição das conexões entre estes (identificando-as como relações entre os atores da rede).
A especificação e explicitação da lógica do sistema de informação para análise de coesão de
texto extenso foi realizada pela interação dos programadores de computadores com os autores
e idealizadores da abordagem AnaCoTEx. Utilizou-se a atualização de um livro (texto
extenso) de um dos autores desta pesquisa, como piloto para aplicação da lógica (algoritmo)
do artefato proposto. Autores e programadores analisaram o texto extenso do livro e geraram
manualmente uma Text Matrix a partir da busca por cross-references contidas no texto
extenso. As atividades conjuntas entre pesquisadores e programadores para especificação do
sistema de informação a ser desenvolvido – AnaCoTEx - envolveram as seguintes atividades:
a) Capacitação dos programadores em conceitos e operacionalização das duas técnicas
centrais da abordagem AnaCoTEx: análise de redes e cross-references;
b) Realização de um exercício prático para criação de uma matriz de texto (Text Matrix) a
partir da leitura de um texto extenso redigido com o emprego de cross-references,
observando as potencialidades destas técnicas em proverem subsídios para análise da
coesão do texto extenso. As atividades realizadas no exercício prático estão resumidas na
figura 1.
Figura 1 – Procedimentos realizados no exercício prático como meio de explicitar a solução
técnica aos programadores
1º Procedimento: Criação da matriz quadrada de seções do texto referente ao livro (estruturação da Text
Matrix)
No software de análise de redes Ucinet 6 for Windows criou-se uma matriz quadrada correspondente a cada uma
das 109 seções presentes no livro a ser analisado. Este número corresponde ao somatório dos capítulos,
apêndices, anexos, subcapítulos e demais decomposições presentes no livro. Na matriz, rotulou-se cada linha e
coluna com a mesma numeração ou denominação utilizada no texto do livro.
2º Procedimento: Identificação de cross-references do livro
Pesquisou-se a localização das cross-references no documento texto do livro. No livro, as cross-references
estavam indicadas pelo sinal gráfico de colchetes, mais precisamente dois colchetes, dentro dos quais estava o
número da seção de texto referenciado, exemplo: “[5.3]”, indicando o subcapítulo 3 do capítulo 5. Para busca
das referências, abriu-se o arquivo correspondente ao texto integral do livro no software editor de texto Word;
utilizou-se a função search do editor para realizar busca pela ocorrência do sinal gráfico de colchete “[” ao longo
do texto. Para cada colchete encontrado, os pesquisadores analisavam se tratava de uma cross-reference, caso
afirmativo, uma ocorrência era registrada na matriz quadrada criada no software Ucinet 6 for Windows.
3º Procedimento: Registro das cross-references do livro (preenchimento das células da Text Matrix)
O registro da cross-reference encontrada no livro era realizado por intermédio da matriz quadrada criada no
software Ucinet 6 for Windows. A seção de texto na qual estava o colchete posicionado dentro do texto do livro
indicava a linha da matriz quadrada, o número descrito no interior dos dois colchetes encontrados no texto do
livro indicava a coluna da matriz quadrada. Retornando ao exemplo acima, se a string [5.3] estivesse sido
encontrada no texto da seção 7.4 do livro, seria assinalado o número um (“1”) na célula constituída pela
intersecção da linha 7.4 com a coluna 5.3 da matriz quadrada. A leitura a ser feita para tal representação na
6
matriz seria: “há uma cross-reference na seção de texto 7.4 que referencia a seção de texto 5.3”.
4º Procedimento: Geração dos indicadores de análise de redes para o contexto do livro
Uma vez cadastradas as relações entre as partes de textos do livro, registradas no software Ucinet 6 for Windows,
utilizou-se das funções disponíveis no próprio, para geração dos indicadores pertinentes às técnicas relacionadas
à abordagem de análise de redes. Tratam-se de funções disponíveis abaixo do menu Network, responsáveis por
gerarem indicadores, por exemplo, de coesão e centralidade.
5º Procedimento: Geração de gráficos e relatórios analíticos sobre as relações entre as partes do livro
A partir do software Ucinet 6 for Windows acionou-se o software NetDraw, que lendo os dados contidos no
primeiro - a matriz quadrada e os indicadores gerados a partir das técnicas empregadas na abordagem de análise
de redes – gerou uma representação gráfica para as diversas seções de texto do livro.
6º Procedimento: Recordação da proposta, da macroestrutura do livro definida na fase de concepção
Os pesquisadores recordaram aspectos macroestruturais do projeto, da concepção do livro: a razão da existência
de cada uma das 109 seções a partir da leitura e análise do sumário, os capítulos centrais em termos de análises
realizadas e os capítulos que serviam mais como provedores de informações às análises (referênciais teóricos).
7º Procedimento: Análise das informações geradas pelos softwares para tomada de decisão
A partir das informações geradas pelos softwares, tanto relatórios quanto gráficos, os pesquisadores analisaram
aspectos pertinentes à coesão do texto do livro como um todo. Realizou-se uma análise centro-periferia
observando se os capítulos centrais do texto ocupavam posição central na rede e se os capítulos de apoio
ocupavam a periferia da rede. Observaram-se, também, os atores desconexos da rede; a análise destes permitiu
identificar: a) pontos de aprimoramento do texto em termos de conexões pertinentes e, conseqüentemente,
capazes de aumentar a coesão do livro; b) partes não pertinentes com a proposta do livro, possíveis de serem
excluídas, aumentando a coesão do texto.
Para as atividades de especificação e desenvolvimento dos softwares, adotou-se um método
aderente à design science research, denominado de Soft Design Science Methodology
(Baskerville, Pries-Heje, & Venable, 2009). Um aspecto importante desta abordagem foi o
desenvolvimento dos softwares de forma bastante interativa com os futuros usuários
(representados pelos idealizadores do artefato e autores deste artigo) por intermédio do mockup prototype. À medida que novas funções dos softwares eram desenvolvidas e liberadas
pelos programadores, os idealizadores realizavam os testes diretamente no protótipo e
forneciam feedback aos programadores. O desenvolvimento e ajustes do método da
abordagem AnaCoTEx eram realizados concomitante com as decisões de ajustes e evolução
dos softwares.
A fim de testar a utilidade da abordagem AnaCoTEx, bem como colher novas sugestões para
evolução do algoritmo, realizou-se o treinamento de diversas díades de orientadoresorientandos vinculados a programas de mestrado e doutorado, nas áreas de administração ou
ciência da informação, de dez universidades brasileiras. O treinamento de 4 horas foi
ministrado presencialmente nas localidades das dez universidades e criou-se o primeiro
contato para que os pesquisadores pudessem acompanhar a utilização da abordagem
AnaCoTEx por orientadores e orientandos associados a textos extensos na forma de
dissertações. Treinou-se na abordagem AnaCoTEx um total de 127 pessoas entre novembro
de 2012 e outubro de 2013, conforme descritos na figura 2. A comunicação ocorreu por
intermédio do web site da abordagem AnaCoTEx, que disponibiliza um ambiente
denominado “Contact the Development Team”, que apresenta facilidades para comunicação
via textos entre as díades orientadores-orientandos com a equipe de desenvolvimento
(pesquisadores e programadores).
7
1.
2.
3.
4.
5.
6.
7.
8.
9.
Universidade Estadual Paulista
(UNESP)
Universidade Federal do Rio de
Janeiro (UFRJ)
Fundação Getulio Vargas (FGVEAESP)
Universidade Federal do Paraná
(UFPR)
Pontifícia Universidade Católica
de São Paulo (PUC-SP)
Universidade Federal de Minas
Gerais (UFMG)
Faculdade Campo Limpo
Paulista (FACCAMP)
Universidade de São Paulo
(USP)
Universidade Metodista de
Piracicaba (UNIMEP)
10. Universidade de Brasília (UnB)
Marília (SP)
Rio de Janeiro
(RJ)
São Paulo (SP)
Curitiba (PR)
São Paulo (SP)
Belo Horizonte
(MG)
Campo Limpo
Paulista (SP)
São Paulo (SP)
Piracicaba (SP)
Brasília (DF)
Doutorado em Ciência
da Informação
Doutorado em
Administração
Doutorado em
Administração
Doutorado em
Administração
Doutorado em
Administração
Doutorado em Ciência
da Informação
Mestrado em
Administração
Doutorado em
Administração
Doutorado em
Administração
Doutorado em Ciência
da Informação
15
9
15
24
7
8
16
11
13
9
Data do
Treinamento
Quantidade
de Treinandos
Área dos
Treinandos
Instituição de Ensino e Pesquisa
Cidade e
Estado do
Brazil
Figura 2 – Agenda de treinamento das díades de orientadores-orientandos de dez
universidades brasileiras que auxiliaram a testar a utilidade do artefato
Nov.
2012
Mar.
2013
Apr.
2013
May
2013
May
2013
Jun.
2013
Aug.
2013
Sep.
2013
Oct.
2013
Oct.
2013
4. O artefato Text Matrix
A publicação da design science research apresenta algumas diferenças com relação ao padrão
de publicação da pesquisa mais convencional. Um aspecto distintivo é “which substitutes the
description of the DSR [design science research] artifact in place of a traditional results
section” (Gregor and Hevner, 2013, p.337). Quanto ao conteúdo da seção em questão: “the
format may be variable but should include at least the description of the design artifact and,
perhaps, the design search (development) process that led to the discovery of the artifact
design” (Gregor and Hevner, 2013, p.350).
O primeiro aspecto a ser observado para análise de coesão de textos extensos por intermédio
da Text Matrix é o preparo prévio do texto extenso, conforme destacado na Figura 3.
Posteriormente, se realiza o upload do texto extenso para montagem da Text Matrix e geração
do coehsion analysis report e, se necessário, a geração da representação gráfica da rede de
textos do documento extenso. Todas estas atividades centrais da abordagem AnaCoTEx estão
descritas nos subtópicos a seguir.
4.1
Preparo do texto extenso
A estrutura do texto, composta por capítulos, subcapítulos e demais níveis subseqüentes, deve
ser identifica por colchetes (“[“). Por exemplo, para o primeiro capítulo, denominado
“Introdução”, deve se digitar a partir da primeira coluna da linha de título os caracteres
identificadores: “[1] Introdução”. Analogamente, para o terceiro subcapítulo, do segundo
capítulo de “método da pesquisa”, que define a “amostra da pesquisa”, deveria se digitar a
8
partir da primeira coluna da linha de abertura deste subcapítulo os caracteres: “[2.3] Amostra
da pesquisa”. É importante destacar que os editores de texto permitem alteração do estilo da
lista numerada, tornando automática a inserção de colchetes quando da inserção de uma lista
numerada. Para isto, o autor do texto extenso deve definir um estilo de linha com identificador
entre colchetes e aplicar às linhas pertinentes à denominação de capítulos, subcapítulos e
demais níveis da estrutura do texto.
Figura 3 – Estrutura operacional da abordagem AnaCoTEx
A seção de texto que utiliza a cross-reference, para citar determinado texto de outra seção,
deve também empregar o uso de colchetes. Por exemplo, considere que a seção 5 apresente a
seguinte frase: “[...] desta forma reforça a necessidade da revisão do supply chain
management à moda chinesa [2.4]”. Neste exemplo, caso o leitor necessite de maiores
informações sobre o termo “supply chain management à moda chinesa”, há a opção de buscar
informações adicionais no próprio texto, presentes no capítulo 2, em seu subcapítulo 4,
conforme indicado pela cross-reference presente logo após o termo.
Além da inserção de cross-reference no texto, outra forma utilizada para conexão de uma
seção do texto com outras seções do próprio texto, é pela citação a elementos não-textuais
presentes no texto, como figuras e tabelas. Para que as citações a elementos não-textuais
sejam interpretados corretamente pelo software codificador da abordagem AnaCoTEx, o
número identificador da tabela ou figura deve ser grafado entre colchetes, bem como nas suas
citações. Imagine-se que o segundo capítulo apresente uma figura identificada como “Figura
[2.1] – Critérios empregados para seleção da amostra”. Se no sétimo capítulo há a necessidade
de fazer menção a esta figura, o redator deverá fazê-lo como habitualmente, destacando o
identificador entre colchetes, conforme descrito a seguir: “... entidade excluída por não
atender aos critérios definidos para seleção da amostra, conforme descrito na figura [2.1]”.
9
O algoritmo do software codificador considera os elementos não-textuais do documento
(figuras e tabelas) como se fossem um parágrafo do texto, ou seja, para este elemento não é
criado um ator na Text Matrix (é apenas mais um parágrafo), mas vincula-se o identificador
deste elemento não-textual à estrutura do texto na qual ele está inserido. Assim, ao encontrar a
palavra figura ou tabela, seguida de uma string de caracteres cerceados por colchetes, o
software codificador associa o identificador da tabela ou da figura à estrutura do texto, ou
seja, este identificador torna-se um sinônimo (ou apelido) do capítulo, subcapítulo ou outro
nível do nível no qual esteja inserido o elemento não-textual. Se ao ler um parágrafo o
software codificador encontra uma citação a elementos não-textuais, associa-se na Text
Matrix a estrutura do texto na qual o parágrafo está contido, com o apelido/sinônimo da
estrutura do texto que contem e apresenta a tabela ou figura em questão.
4.2 – Criação da Text Matrix
Com as cross-references inseridas no texto extenso, conforme os padrões descritos na seção
anterior, o passo seguinte é o upload do arquivo para leitura dos códigos e montagem da Text
Matrix. Para isto utiliza-se o Encoder Software, conforme indicado na figura 3. A Text Matrix
é uma matriz quadrada, sendo os capítulo, subcapítulos e demais níveis da estrutura do texto
extenso, representados por uma linha e uma coluna da matriz. Cada cross-reference
identificada no texto é assinalada na Text Matrix, com o incremento de uma unidade na célula
associada à estrutura do texto que apresenta a cross-reference (invocadora) e a estrutura
invocada entre os colchetes da cross-reference (invocada). A lógica para definição das
coordenadas referentes à linha e coluna da célula da Text Matrix é: a estrutura do texto do
invocador é considerada como a posição da linha da matriz e a estrutura do texto invocado é
considerada a posição da coluna da matriz. Desta forma a leitura correta dos valores das
células da Text Matrix é: a estrutura de texto descrita na linha invoca em tantas vezes a
estrutura de texto descrita na coluna.
Após a identificação dos valores totais de cada célula da Text Matrix, o Encoder Software
calcula os somatórios para cada uma das linhas e colunas. O valor total para cada linha é
denominado de outdegree centrality de cada ator (Wasserman & Faust, 1994), ou seja, as
interações iniciadas (invocações feitas) pela estrutura de texto descrita na linha para todas as
demais estruturas de texto descritas nas colunas. Os valores totais de cada coluna indicam o
indegree centrality de cada ator (Wasserman & Faust, 1994), ou seja, as interações recebidas a
partir das demais estruturas do texto extenso. A Text Matrix completa é apresentada ao
término da execução do Encoder Software, concomitante com a apresentação do relatório
denominado “coehsion analysis report”. Este relatório apresenta a lista de erros e de possíveis
erros (alertas) quanto à estruturação do texto, destacando aspectos como: atores da Text
Matrix encontrados em duplicata (mesmo número ou código identificador), elemento nãotextual (tabela ou figura) não citado no texto, citação a ator não identificado no texto, citação
a elemento não-textual (tabela ou figura) não encontrado no texto, e atores da Text Matrix não
citados.
4.3 – Análise da coesão a partir da Text Matrix e do coehsion analysis report
Os atores da Text Matrix indicados como “não citados” no coehsion analysis report devem ser
analisados individualmente, caso a caso, considerando que nem todos os atores não citados
constituem um problema de falta de coesão. A lógica induzida a partir da leitura e análise de
textos longos que utilizaram o recurso cross-reference, indica que os atores da estrutura do
texto que devem ser citados são os de último nível da estrutura de decomposição, aqueles que
10
não são decompostos. Um ator intermediário na estrutura, que se decompõem em um ou mais
níveis de “filhos, netos ou bisnetos”, não necessariamente precisa ser citado. A não citação a
atores de último nível pode indicar a necessidade de: a) incluir cross-references em outras
seções do texto para estes, a fim de tornar o texto mais coeso e, conseqüentemente,
justificando a hierarquização existente; b) consolidar o ator de último nível de decomposição
no ator imediatamente superior (o “pai”), simplificando a estrutura e evitando decomposições
desnecessárias que tornam o texto mais extenso e complexo. Na prática, em textos não
literários que necessitam seguir uma lógica bastante clara, como os textos científicos e
empresariais, as estruturas mais detalhadas ou decompostas (“filhos” de último nível) devem
ser utilizadas em suporte à discussão das demais estruturas do texto ou serem eliminadas.
Elementos não-textuais indicados como “não citados” no coehsion analysis report também
devem ser analisados. Todo elemento não-textual deve possuir pelo menos uma citação que o
vincule ao texto. Assim, estes são indicados como erros no coehsion analysis report e,
necessariamente, implicam na inserção de citação ao longo do texto extenso. Muitas vezes
estes elementos não-textuais também são citados em outras seções do texto além da qual eles
estão inseridos, isto em função dos elementos não-textuais serem a forma mais simples e
rápida de comunicarem informações complexas.
Os indicadores de indegree centrality e outdegree centrality de cada ator ou elementos
estruturais do texto extenso, identificados, respectivamente, como os somatórios das linhas e
colunas da Text Matrix, constituem informações relevantes para análise da coesão de textos
extensos. No texto que necessita respeitar uma coerência lógica, como os científicos e
empresariais, observa-se que a interação entre suas partes constitui um modelo sistêmico de
input, process, e output. Assim é de se esperar, por exemplo, que os capítulos iniciais tenham
o indegree mais elevado que o outdegree, pois são seções fornecedoras de idéias, de ganchos
narrativos para as demais seções do texto extenso. A seção de análise & discussão deve
apresentar, muito provavelmente o maior valor para o indicador outdegree, pois normalmente
cita: conceitos e modelos, definidos nos capítulos iniciais; etapas e técnicas de pesquisa,
apresentadas no capítulo de método da pesquisa; e displays de resultados, resultantes da coleta
em campo. Uma seção de anexo deve ter indegree diferente de zero e outdegree igual a zero,
considerando ser um texto elaborado em outro momento e/ou contexto.
A depender do domínio e conhecimento do autor com relação à estrutura e ao conteúdo do
texto extenso, a análise de expectativas em relação aos indegrees e outdegrees de cada ator da
estrutura do texto pode ser feita pela leitura e análise dos indicadores presentes na própria
Text Matrix. Para isto, recomenda-se analisar a Text Matrix comparando-a com o sumário de
seções e subseções presentes no documento extenso que foi objeto do upload realizado para o
Encoder Software. Caso o texto extenso esteja sendo desenvolvido por muitos autores e/ou
por períodos de tempo muito longos, a representação gráfica da rede de textos pode auxiliar
na melhor compreensão da Text Matrix. A subseção seguinte trata da geração de gráfico
associado à rede de textos do documento extenso.
4.4 – Análise da coesão a partir do gráfico de rede
A Text Matrix pode ser exportada para softwares de análise de redes que trabalhem com o
armazenamento de dados na forma de matriz. Conforme a estrutura operacional da abordagem
AnaCoTEx, descrita na figura 3, o Integrator Software é o responsável por ler a estrutura e os
dados da matriz quadrada gerada pelo Encoder Software, denominada de Text Matrix, e gerar
um arquivo no formato comma-separated values (CSV). Arquivos do tipo CSV são aceitos e
11
lidos para importação de dados para o repositório de dados da maioria dos softwares de
análise de redes que trabalham com o conceito de matriz. Para o desenvolvimento e teste de
utilidade da abordagem AnaCoTEx, envolvendo as díades de orientadores-orientandos das
dez universidades, direcionou-se a análise gráfica da rede dos textos extensos para os
aplicativos de análise de redes UCINET e NetDraw. Isto ocorreu em função da base instalada
e da cultura existentes nestas universidades brasileiras, mantendo o foco do treinamento
apenas nos softwares desenvolvidos especificamente para abordagem AnaCoTEx: Encoder
Software e Integrator Software.
Uma vez com os dados da rede do texto extenso importados para o software UCINET, uma
série de network indicators e análises sofisticadas sobre redes podem ser geradas por
intermédio dos algoritmos disponíveis no UCINET. Network graphics também podem ser
gerados com o auxílio do software NetDraw que está completamente integrado ao UCINET.
A geração do gráfico de redes é uma ferramenta importante no apoio à análise da coesão entre
as seções de texto. Os atores da rede que representam as estruturas centrais do texto extenso,
como as relativas aos textos de análise e discussões, devem estar na posição central dentro de
uma perspectiva de análise centro-periferia da rede, enquanto que apêndices e anexos devem
ocupar posições periféricas. Para o information worker que desenvolveu e tem bom domínio
da estrutura do texto extenso, o desenho da rede torna-se muito significativo em termos das
estruturas que devem ocupar posições mais centrais, bem como as mais periféricas.
5. Avaliação de utilidade da Text Matrix
Os treinamentos da abordagem AnaCoTEx realizados nas localidades das dez universidades
brasileiras resultou na divulgação e utilização do artefato por um grupo de potenciais
usuários, composto por orientadores e orientandos de programas de mestrado e doutorado. O
treinamento estabeleceu o canal de comunicação inicial para interação dos desenvolvedores
do artefato junto a essa comunidade, o que permitiu coletar o parecer de alguns orientandos e
orientadores quanto à qualidade e utilidade do artefato. Das 127 pessoas que foram treinadas
na abordagem AnaCoTEx, registrou-se o feedback de 13 destas, que responderam ao
questionário abordando a experiência de uso da abordagem para análise da coesão de
documentos científicos no formato de dissertações. A amostra da pesquisa foi constituída por
10 orientandos e 3 orientadores, que analisaram a coesão de 13 textos extensos distintos.
Os benefícios práticos da abordagem AnaCoTEx podem ser resumidos em dois tipos de
eventos motivados pelas informações fornecidas pelo artefato: a) identificação de seções de
texto desconexas e desnecessárias, que são excluídas do texto extenso; b) identificação da
falta de conexões entre seções de textos, que são conectadas pela introdução de ganchos
narrativos, cross-references ou pela utilização de outros cohesion devices. O questionário que
serviu como instrumento para feedback dos 13 usuários da abordagem AnaCoTEx,
apresentava uma questão específica sobre a ocorrência destes dois eventos motivados pelas
informações provenientes do uso do artefato. Para cada um dos eventos presenciados,
solicitava-se ao usuário que indicasse o valor percebido em termos de aprimoramento da
coesão do texto extenso. As respostas a estas questões estão resumidas na tabela 1. É
importante destacar que todos os 13 usuários informaram ter submetido para análise da
abordagem AnaCoTEx um texto já pronto, ou seja, não se trabalhou com versões parciais que
retratassem diferentes estágios do desenvolvimento do texto. Desta forma, as experiências de
uso da ferramenta relatadas são referentes à análise do texto final, não havendo relatos de
experiências da ferramenta como suporte ao desenvolvimento do texto. Isto explica a elevada
12
quantidade de seções de textos excluídas após a identificação de desconexão em relação ao
texto extenso.
Tabela 1 – Eventos motivados pela utilização do artefato e o valor atribuído a estes
Muito Positivo
(muito gahno)
Positivo
(ganha-se)
Indiferente
(esforços = ganhos)
Negativo
(perde-se)
Muito Negativo
(muita perda)
falta de conexões entre seções de textos, que foram
conectadas pela introdução de ganchos narrativos,
cross-references e outros cohesion devices
Percentual
Evento motivado pela utilização do artefato
seções de texto desconexas e desnecessárias que
foram excluídas do texto extenso
Valor percebido pelos usuários
(esforços vs ganhos)
Freqüência
ocorrências
n=13
11
85%
9
2
-
-
-
13
100%
10
3
-
-
-
O instrumento para feedback dos usuários também objetivou identificar o nível de dificuldade
percebido para algumas ações fundamentais da abordagem AnaCoTEx, bem como para
compreensão da abordagem como um todo. As percepções dos usuários quanto a estes
aspectos estão resumidas na tabela 2. Como conclusão da avaliação de utilidade do artefato,
perguntou-se aos usuários sobre o valor percebido com relação à capacidade da abordagem
AnaCoTEx em auxiliar na análise da dimensão coesão de textos extensos. Em uma escala de
1 a 5, sendo 5 “muito importante” e 1 “muito prejudicial”, as resposta concentram-se em duas
das cinco alternativas: 77% dos respondentes indicaram “muito importante e 23% indicaram
“importante”.
Tabela 2 – Níveis de dificuldade percebidos pelos usuários para ações centrais da abordagem
AnaCoTEx
Muito fácil
Fácil
Indifernte (nem
pouca, nem muita)
Difícil
Muito difícil
Nível de dificuldade
3
7
2
1
-
operacionalização / uso dos softwares codificador e integrador
8
5
-
-
-
compreensão da abordagem como um todo (visão holística: entradas,
processamentos e saídas)
4
9
-
-
-
Ações pertinentes à abordagem AnaCoTEx
adaptação do texto extenso ao formato exigido pela abordagem (inclusão
das cross-references e colchetes nos identificadores e nas chamadas de
capítulos, subcapítulos e elementos não-textuais)
13
6. Análises e discussões
Os pareceres dos 13 usuários demonstram a capacidade e a utilidade da abordagem
AnaCoTEx em identificar e analisar aspectos associados à coesão entre as seções de textos de
documentos extensos. Os resultados e as análises não podem ser extrapolados para o processo
de desenvolvimento de textos, considerando que as experiências de uso relatadas estão
associadas à aplicação da abordagem para análise de textos extensos que já estavam
totalmente redigidos. A abrangência dos testes realizados atende ao objetivo desta pesquisa:
apresentar um artefato tecnológico, direcionado aos information workers, tendo como
principal função a análise da coesão de textos extensos.
Os feedbacks dos usuários indicaram alguns problemas típicos de falta de coesão entre as
seções de textos de documentos científicos extensos, elaborados por pesquisadores
principiantes, como: a) seção de análises e discussões com pouca citação às evidências que
embasaram as análises, muitas vezes condensadas em tabelas, disponíveis na seção de
resultados; b) subseções de textos de revisão da literatura que não são utilizadas na seção de
análises e discussões; c) subseção de conclusão que não aponta ou retoma o problema de
pesquisa declarado na seção de introdução; d) seção de resultados que não referencia a seção
de método da pesquisa onde são declarados e justificados os procedimentos utilizados para
coleta de dados; e e) apêndices e anexos que não são invocados pelas demais seções. Assim
como ocorrido pela experiência de uso da abordagem AnaCoTEx por pesquisadores
experientes (orientadores) e em formação (orientandos), entende-se que o uso da abordagem
possa auxiliar na identificação de problemas típicos de coesão para outros tipos de
documentos, empregados por diferentes grupos de profissionais, como: os advocatícios
(contratos e processos), os comerciais (request for information, request for proposal, and
proposal); os acadêmicos (livros e apostilas), empresariais (relatórios), dentre outros.
A experiência de aplicação da abordagem AnaCoTEx para diferentes tipos de documentos,
utilizados por diferentes grupos de profissionais, pode auxiliar na inferência e identificação de
regras específicas a serem inclusas no algoritmo para análise de coesão de textos extensos
específicos. Retornando ao exemplo dos textos científicos, no formato de dissertações, teses
ou relatórios de pesquisas, tem-se que a estratégia de pesquisa adotada influencia na
localização e distribuição dos conteúdos pelas seções de textos do documento científico
(Bansal & Corley, 2012). Um exemplo desta influência é a estratégia de pesquisa grounded
theory (GT) que comumente não apresenta uma seção específica de referencial teórico; a
literatura atual é apresentada nas últimas seções do texto para realizar a integração ou
contraste com a teoria substantiva gerada (Glaser, 1998; Walls et al., 2007). Assim, a egonetwork e os indicadores de redes para o capítulo de conclusão de um relatório de pesquisa,
desenvolvida segundo a estratégia GT, devem ser distintos de seções análogas de pesquisas
desenvolvidas com outras estratégias de pesquisa. Observa-se, portanto, perspectivas para
especialização do algoritmo da abordagem AnaCoTEx segundo a identificação do tipo de
documento.
Gregor and Hevner (2013, p.338) indicam que a relevância da pesquisa DSR está na
capacidade desta em “reach a wider audience, dissemination of which contributes to both
research and professional practice”. Para professional practice, os resultados desta pesquisa
demonstram a utilidade do artefato Text Matrix em colaborar com os informations workers
para análise de uma dimensão de qualidade da informação crítica aos textos extensos: a
coesão. Dentro do atual contexto da sociedade da informação, identifica-se um grande
contingente de profissionais com interesses pela qualidade de textos extensos. Esta
14
preocupação pode ser atribuída tanto aos que desenvolvem textos extensos, como auditores,
consultores, analistas, advogados, pesquisadores e escritores, bem como àqueles que os
analisam, selecionam e os leem, como editores, gerentes, juízes, pesquisadores e roteiristas.
Para research practice o conhecimento prescriptive, como o apresentado nesta pesquisa,
configura-se como uma importante etapa da DSR por amplificar a utilização do artefato que
auxiliará na promoção e identificação de conhecimentos descriptive que podem levar à
geração de conhecimentos científicos mais abstratos, completos e maduros, denominados de
design theory. O uso do artefato para análise de documentos de distintas categorias pode
trazer insumos para análise e discussão da estrutura de textos extensos em diversos campos,
como a administração da informação, a ciência da informação ou a text linguistics.
7. Conclusões
A comparação da abordagem AnaCoTEx com os métodos já existentes para análise de coesão
de textos extensos, evidencia as limitações dos recursos até então disponíveis, caracterizados
por cohesion devices voltados para integração entre frases e entre parágrafos. Estes cohesion
devices tratam superficialmente a integração entre as estruturas de textos mais abrangentes,
como capítulos e subcapítulos e não podem ser considerados como ferramentas analíticas da
dimensão coesão, pois se configuram apenas como elementos integradores de textos. Desta
forma, a própria ausência de soluções alternativas para comparação e análise do potencial da
abordagem AnaCoTEx como ferramenta analítica, para o nível de coesão entre as seções de
texto do documento extenso, evidencia o aspecto inovador do artefato apresentado neste
artigo.
Considerando a abordagem AnaCoTEx como instrumento voltado à qualidade de textos
extensos, esta pesquisa analisou-a como ferramenta corretiva, pois foi aplicada e testada junto
a textos que já estavam totalmente prontos. Pesquisas futuras devem analisar a capacidade da
abordagem como ferramenta preventiva, ou seja, utilizando-a durante o processo de
desenvolvimento de textos extensos, a fim de identificar potenciais problemas de baixa coesão
que demandem ações cautelares (Olawale & Sun, 2010). Os desenvolvedores da abordagem
entendem que o algoritmo não demandará alterações, porém maiores cuidados ou mesmo
procedimentos adicionais, podem se requeridos com relação ao método empregado pelos
information workers para redação e constituição do documento extenso. Isto deve ser
observado, em especial, com relação ao momento e à forma como as cross-references são
introduzidas ao longo das seções de texto do documento extenso em desenvolvimento.
Referências
Analytictech.
(2013).
Ego
Networks.
Retrieved
from
http://www.analytictech.com/networks/egonet.htm
Anderson, S. P., & de Palma, A. (2012). Competition for attention in the Information
(overload) Age. RAND Journal of Economics, 43(1), 1-25.
Bansal, P. T., & Corley, K. (2012). Publishing in AMJ - Part 7: What’s different about
qualitative research? Academy of Management Journal, 55(3), 509-513.
Baskerville, R., Pries-Heje, J., & Venable, J. (2009). Soft Design Science Methodology, in
Proceedings of the 4th International Conference on Design Science Research in Information
Systems and Technology, Malvern, PA, pp. 9-20.
Beath, C., Becerra-Fernandez, I., Ross, J., & Short, J. (2012). Finding value in the information
explosion. MIT Sloan Management Review, 53(4), 18-20.
Borgatti, S. P., & Li, X. (2009). On social network analysis in a supply chain context. Journal
of Supply Chain Management, 45(2), 5-22.
15
Collins.
(2013).
English
Dictionary.
Retrieved
from
http://www.collinsdictionary.com/dictionary/english/cross-reference
Eco, U. (1989). Come si Fa una Tesi di Laurea. Milano (IT): Bompiani.
Eggins, S. (1994). An Introduction to Systemic Functional Linguistics. London (UK): Pinter.
Eva, K. (2010). Enough rope to hang yourself: word limits in Medical Education. Medical
Education, 44(5), 432.
Gibbs, S., & Linley, R. (2000). 'A bit of a mess?': Training and education for information
workers in the voluntary sector. Education for Information, 18(2/3), 155-167.
Glaser, B. G. (1998). Doing Grounded Theory: Issues and Discussions. Mill Valley (CA):
Sociology Press.
Gregor, S., & Hevner, A. R. (2013). Positioning and presenting design science research for
maximum impact. MIS Quarterly, 37(2), 337-355.
Halliday M. A. K., & Hasan, R. (1976). Cohesion in English. London (UK): Longman.
Hevner, A., March, S., Park, J., & Ram, S. (2004). Design Science in Information Systems
Research. MIS Quarterly, 28(1), 75-105.
Huang, K.Y., Lee, Y.W. and Wang, R.Y. (1999). Quality Information and Knowledge. Upper
Saddle River, NJ: Prentice-Hall.
Huff, A.S. (1998). Writing for Scholarly Publication. Thousand Oaks, CA: Sage Publications.
Iivari, J. (2007). A paradigmatic analysis of information systems as a design science.
Scandinavian Journal of Information Systems,19(2), 39-64.
Karmarkar, U.S., & Apte, U.M. (2007). Operations Management in the Information
Economy. Journal of Operations Management, 25(2), 438–53.
Kuechler, B., & Vaishnavi, V. (2008). Theory development in design science research:
anatomy of a research project. European Journal of Information Systems, 17(5), 489–504.
Ma, X. J., Wang, W. X., Lai, Y. C., & Zheng, Z. Z. (2010). Information explosion on
complex networks and control. European Physical Journal B, 76(1), 179-183.
Marcus, A., & Poshyvanyk, D. (2005). The Conceptual Cohesion of Classes, Proc. 21st IEEE
Int’l Conf. Software Maintenance, 133-142.
Marcus, A., Poshyvanyk, D., & Ferenc, R. (2008). Using the Conceptual Cohesion of Classes
for Fault Prediction in Object-Oriented Systems. IEEE Trans. Software Eng., 34(2), 287-300.
Netcraft.
(2013).
Web
Server
Survey.
Retrieved
from
http://news.netcraft.com/archives/category/web-server-survey/
Ohno, T. (2007). EyePrint: Using Passive Eye Trace From Reading to Enhance Document
Access and Comprehension. International Journal of Human-Computer Interaction, 23(1/2),
71-94.
Olawale, Y., & Sun, M. (2010). Cost and time control of construction projects: inhibiting
factors and mitigating measures in practice. Construction Management & Economics, 28(5),
509-526.
Pascal, B. (2013). The Provincial Letters. Charleston, SC: CreateSpace Independent
Publishing Platform.
Van Dijk, T. A. (1995). On macrostructures, mental models and other inventions : A brief
personal history of the Kintsch-van Dijk theory. In C. A. Weaver, S. Mannes, & C.R. Fletcher
(Eds.), Discourse comprehension. Essays in honor of Walter Kintsch (pp. 383-410). Hillsdale
(NJ): Lawrence Erlbaum Associates.
Victoria, L. A. P. (1966). Dicionário de frases, citações e aforismos latinos. 3. ed. Rio de
Janeiro, BR: Editora Científica.
Walls, P., Parahoo, K., & Fleming, P. (2010). Grounded theory. The role and place of
knowledge and literature in grounded theory. Nurse Researcher, 17(4), 8-17.
Wasserman, S., Faust, K. (1994). Social network analysis: Methods and Applications.
Cambridge (UK): Cambridge University Press.
16