Governança de TI: Medindo o Nível de Serviços Acordados entre as Unidades Usuárias
e o Departamento de Sistemas de Informação
Autoria: Ângela Freitag Brodbeck, Luís Kalb Roses, Vinícius Andrade Brei
Resumo
Este artigo apresenta uma investigação de natureza exploratória, sobre o nível de
serviço fornecido pelo Departamento de Sistemas de Informações (DSI) de uma empresa
metalúrgica multinacional para as suas unidades usuárias, visando a melhoria contínua de sua
gestão de Tecnologia de Informação (TI). O principal propósito foi confrontar a percepção de
como os usuários das unidades esperam receber estes serviços com a percepção dos
funcionários do DSI (como eles acham que os usuários percebem o recebimento de seus
serviços), analisando o gap resultante. Para tanto, foi realizada uma survey utilizando um
instrumento de coleta de dados baseado em pesquisas sobre percepção do nível de serviços
prestados por terceiros originado na área de Marketing e ajustado para a área de TI, onde foi
possível verificar os pontos fortes e fracos apontados pelos usuários das unidades com relação
aos serviços acordados com o DSI. Os principais resultados encontrados demonstram que: os
usuários das unidades da empresa estudada encontram-se parcialmente satisfeitos com a
maioria dos serviços acordados com o DSI; existem alguns problemas relacionados ao grau de
confiabilidade (prazos e conformidade); apesar do instrumento original ter se mostrado
adequado para aplicação em serviços na área de TI, talvez ele mereça ajustes.
1. Introdução
O termo "Governança de TI" é definido como uma estrutura de relações e processos
que dirige e controla uma organização a fim de atingir seu objetivo de adicionar valor ao
negócio através do gerenciamento balanceado do risco com o retorno do investimento de TI.
Em 1996, o IT Governance Institute criou uma ferramenta chamada CobiT (Control
Objectives for Information and Related Technology), incluindo uma série de recursos e
práticas de gestão recomendadas pelos peritos em gestão de TI que ajudam a otimizar os
investimentos de TI e fornecem métricas para avaliação dos resultados.
O CobiT (2004) é orientado para fornecer informações detalhadas para gerenciar
processos baseados em objetivos de negócios, tendo sido projetado para auxiliar três
audiências distintas: (1) os gerentes que necessitam avaliar o risco e controlar os
investimentos de TI; (2) os usuários que precisam ter garantias de que os serviços de TI dos
quais dependem seus produtos e serviços tanto para os clientes internos e externos, estão
sendo bem gerenciados; e (3) os auditores que podem se apoiar nas recomendações do CobiT
(2004) para avaliar o nível da gestão de TI e aconselhar o controle interno da organização.
Um dos principais domínios do CobiT (2004), chamado “Entrega e Suporte”, que visa o
atendimento e gerenciamento do relacionamento entre gerentes e usuários, apresenta os
procedimentos e métricas para definição e manutenção dos acordos de níveis de serviços entre
os usuários e os fornecedores de TI (terceirizados ou internos), tema foco deste artigo.
Os acordos de nível de serviço formalizam o relacionamento entre as partes e devem
permitir maior eficiência na administração dos recursos e serviços de SI, facilitando a
comunicação, a coordenação e a entrega dos serviços entre as partes envolvidas. Uma
abordagem baseada neste tipo de relacionamento pode trazer inúmeras vantagens, tais como,
definição clara das responsabilidades, fornecimento de uma estrutura de projeto e entrega de
serviços; e a criação de incentivos para melhoria das práticas relacionadas ao
1
desenvolvimento e qualidade dos SI e, conseqüente, redução de riscos para a empresa. É
inegável a importância de um bom relacionamento entre o Departamento de Sistemas de
Informação (DSI) e os usuários finais. Infelizmente, esta relação nem sempre é muito boa,
causando baixa qualidade nos serviços prestados e levando à terceirização e o
desenvolvimento de aplicações por usuários finais (TURBAN et al. 2004; MULLER, 1999).
Dentro do contexto brasileiro, observa-se que várias empresas contatadas pelos
pesquisadores vêm tratando o DSI como uma organização que administra os serviços de TI e
SI a serem disponibilizados para o corporativo e todas as suas unidades. Sendo assim, tornase imprescindível que haja uma parceria entre o DSI (fornecedor) e os usuários (cliente) para
a melhoria contínua da prestação dos serviços fornecidos, como fator de redução de conflitos
entre as partes. O componente de serviço relacionado com Sistemas de Informação (SI) vem
crescendo em importância na análise de sua efetividade, principalmente num contexto de altos
investimentos para a demanda crescente de suporte ao atendimento dos usuários, cujas
requisições se dão cada vez menos face-a-face e cada vez mais por mídia eletrônica como email, call center, help desk, entre outros (JIANG et al., 2000). Porém a maioria dos estudos
realizados tem mostrado que as medidas normalmente utilizadas na análise da efetividade de
SI focam em seus produtos, ao invés de focar em seus serviços (PITT et al., 1995).
Uma das formas de gerenciamento do nível de atendimento dos acordos de serviços
pode ser realizada através da visão da qualidade do serviço prestado, interpretada como uma
combinação de medidas sobre expectativas do serviço contratado e sobre a percepção do
serviço provido. Um modelo chamado SERVQUAL, originado na área de Marketing
(CRONIN e TAYLOR, 1992; PARASURAMAN et al., 1985) e adaptado para a área de SI
(KETINGER e LEE, 1999; PITT et al., 1995), permite medir a qualidade do serviço através
de dois instrumentos de pesquisa: um que mede as expectativas na contratação dos serviços
(SERVEXP) e o outro a performance na entrega do serviço (SERVPERF). A maioria das
pesquisas tem aplicado o modelo junto aos usuários e aos fornecedores, possibilitando um
exame da diferença – gap – entre as percepções de cada uma das partes envolvidas e a
performance do serviço prestado, visando a melhoria do relacionamento e da entrega dos
serviços acordados.
A empresa estudada nesta pesquisa encontra-se entre aquelas empresas que estão
observando de perto os guias e padrões do CobiT (2004), sendo composta por um DSI ligado
ao órgão corporativo do grupo, atende 10 unidades fabris e 6 centros de distribuição
localizados no Brasil, 3 unidades fabris e mais de 10 escritórios localizados em países
estrangeiros, mantendo a preocupação constante na entrega e suporte do serviço de SI
contratado por estas unidades usuárias. A visão do DSI é de fornecedor apesar dos seus
usuários serem clientes internos, ou seja, seus colegas. Este contexto levou o Comitê de SI e o
Conselho Diretor do grupo, a refletir sobre “como estaria sendo percebida a performance do
serviço do DSI pelas unidades usuárias e vice-versa, ou seja, como o DSI estaria percebendo
este relacionamento entre ele e seus clientes?”.
Desta forma, o objetivo principal deste estudo exploratório foi o de determinar qual a
percepção dos usuários e dos funcionários do DSI com relação ao nível de serviços acordados
entre ambas as partes, dentro do contexto da empresa estudada, buscando verificar a
qualidade percebida do serviço para cada uma das cinco dimensões do SERVPERF (o serviço
já ocorreu) bem como a importância relativa de cada dimensão. Como objetivos secundários,
buscou-se analisar o gap entre o que os usuários percebem do DSI e o que o DSI entende que
os usuários percebem efetivamente com relação a eles; avaliar o uso do instrumento adaptado
para SI dentro do contexto de uma empresa brasileira que mantém o relacionamento cliente
interno e DSI (em vez de terceirizados); e analisar as possibilidades da pesquisa entrar para o
contexto da gestão permanente de TI, proporcionando melhoria contínua aos processos do
2
DSI e, futuramente, conectar os resultados individuais dos membros do DSI ao programa de
incentivos individuais e coletivos do grupo.
Nas próximas seções, descrevem-se os conceitos que fundamentaram a
operacionalização desta pesquisa; apresenta-se a metodologia empregada para atendimento
dos objetivos e garantia da consistência dos resultados; são relatadas as análises estatísticas
realizadas e discutidos os principais resultados obtidos pela aplicação do SERVPERF junto às
unidades usuárias e aos membros do DSI; e, por fim, são apresentados os principais pontos
fortes e fracos do relacionamento atual encontrado dentro da empresa estudada assim como as
contribuições e sugestões para pesquisas futuras.
2. Acordo de Nível de Serviços
O acordo de nível de serviço ou SLA (Service Level Agreement), inserido no contexto
de encontros de serviços internos entre a área de SI com as demais áreas usuárias de uma
organização, também chamadas de áreas clientes, é formulado com base em dados de
performance obtidos de diversas ferramentas e das necessidades e expectativas dos usuários
sobre os níveis de serviço de SI. Desta forma, é possível que o DSI trabalhe com parâmetros
estruturados sobre suas responsabilidades em relação às suas unidades usuárias, viabilizando
uma redução do nível de reclamações destas, buscando uma atuação mais focada em
processos que geram reclamações e proporcionando uma mudança de foco na solução dos
problemas – de reativo para proativo. Adicionalmente, o SLA serve de referencial à
priorização das atividades e revisão do planejamento de SI, além de servir de base para a
aplicação de penalidades ou bônus aos executores dos serviços de acordo com a performance
dos serviços prestados versus acordados (MULLER, 1999; PITT et al., 1995).
2.1. Medindo o Nível de Serviço Acordado
Uma das formas mais freqüentemente utilizadas para medir os níveis de serviços é
através de instrumentos de qualidade de serviços prestados. Este tem sido um assunto de
grande investigação pela área de marketing, considerando-se a premissa de que serviços de
alta qualidade geram maior satisfação aos clientes, retenção dos clientes, lucro, redução de
custos e boa imagem “boca-a-boca” da empresa. A qualidade de serviços tem sido definida
como sendo uma medida de quão bem o nível de serviço entregue atende às expectativas do
consumidor podendo ser quantificada através da diferença entre a percepção do consumidor
sobre o serviço consumido e às suas expectativas em relação a este serviço (BERRY et al.,
1990).
A qualidade de serviço compreende três importantes características de serviço: (a)
intangibilidade, referindo-se mais a performance do que objetivos uma vez que a maioria dos
serviços não pode ser quantificada, inventariada, medida e verificada antes da ocorrência de
sua venda para assegurar sua qualidade; (b) heterogeneidade, implicando numa performance
que varia com quem produz o serviço, com quem o consome e quando é consumido; (c)
produção e consumo inseparáveis, ou seja, o serviço é desenvolvido em tempo de consumo
pelo cliente, sendo afetado pela interação com este (JIANG et al., 2000; BUTTLE, 1996;
PARASURAMAN et al., 1985:1991).
Analisar o nível de qualidade de um serviço não é uma tarefa fácil. Ao tentar medi-la,
deve-se atentar para aspectos como: para o consumidor, qualidade do serviço é mais difícil de
avaliar do que produtos; as percepções sobre a qualidade do serviço resultam da comparação
de expectativas do consumidor com performance atual do serviço; e as avaliações de
qualidade não são feitas somente na prestação do serviço, envolvendo também, a avaliação do
3
processo de prestação do serviço (CRONIN e TAYLOR, 1994; PARASURAMAN et al.,
1985).
2.2. O Modelo SERVQUAL – instrumento SERVPERF
Vale destacar que o modelo SERVQUAL apresenta dois instrumentos largamente
utilizados como tecnologia de mensuração da qualidade do serviço prestado, exatamente
iguais em conteúdo, apenas com alguma adequação redacional, pois são aplicáveis em
momentos diferentes: para medir expectativas (SERVEXP) na contratação dos serviços e para
medir a performance (SERVPERF) na entrega do serviço. O instrumento contém 22 itens
agrupados em cinco dimensões (construtos), apresentados no Quadro 1. Este tipo de medição
permite não somente obter os pontos fracos de ocorrência dos possíveis problemas em cada
dimensão, como também avaliar o gap entre os pontos de vistas do fornecedor e do cliente.
Esta diferença (gap = P – E) é representada pela avaliação da percepção da performance (P)
dos serviços recebidos pelos clientes (usuários) e a percepção das expectativas (E) dos
fornecedores (funcionários do DSI) com relação a como os clientes percebem seus serviços. O
resultado representará uma qualidade do serviço percebida acima ou abaixo das expectativas
(JIANG et al., 2003; BUTTLE, 1996; PARASURAMAN et al., 1988).
Dimensões
Tangíveis
Definição
No. Itens
A aparência das facilidades físicas, equipamentos, pessoal e materiais de
4
comunicação.
A habilidade em executar o serviço prometido de forma confiável e
5
Confiabilidade
correta.
O desejo de auxiliar os consumidores e de prover serviço rápido.
4
Responsividade
O conhecimento e cortesia dos empregados, bem como suas habilidades
4
Segurança (no
em gerar confiança e certeza sobre o que executam das atividades
Conhecimento e
acordadas com os usuários.
Competência)
A provisão de atenção e consideração, bom tratamento e atenção
5
Empatia
individualizada aos consumidores do serviço.
Quadro 1 – As cinco dimensões da qualidade do serviço (PARASURAMAN et al., 1985; PITT et al., 1995)
Embora largamente aceito, este instrumento não tem sido isento de críticas. Teas
(1993) atenta para a ambigüidade do construto expectativas e Babakus e Boller (1999) para o
uso de uma única medida genérica para medir a qualidade do serviço em diferentes tipos de
indústrias. Mesmo sob críticas e evolução, o instrumento continua sendo um marco para a
medição da qualidade do serviço onde recentemente foram realizados sete estudos sobre a
usabilidade do instrumento, concluindo que o mesmo fornece boa previsibilidade sobre a
qualidade do serviço em geral (KETTINGER e LEE, 1999; SUSARLA et al. 2003). Pitt et al.
(1995), no contexto de Marketing, e Jiang et al. (2000:2003), no contexto de SI, trouxeram a
idéia da operacionalização da qualidade do serviço percebido como um escore de gap,
medindo ambas as partes envolvidas no acordo visando a melhoria do relacionamento.
2.2.1. Considerações sobre o modelo SERVQUAL Aplicado em SI
A área de SI realizou algumas variações da versão original deste instrumento. Na
década de 90, Pitt et al. (1995) identificaram três, cinco e sete fatores variantes dos construtos
originais em três diferentes ambientes de amostras, utilizando a técnica estatística de
componentes principais, concluindo que o instrumento é viável apesar de nem sempre
apresentar discriminação entre as suas cinco dimensões. Explorando a dimensionalidade e
validade do instrumento, Kettinger e Lee (1999) confirmaram os construtos originais e seu
4
uso na área de SI. Van Dyke et al. (1997:1999) defendem a utilização do instrumento para
avaliação da percepção da performance, mesmo não possuindo propriedades psicométricas
muito adequadas para avaliação de expectativas (fornecedores).
Mais recentemente, Jiang et al. (2003) examinaram o relacionamento entre uma das
mais aceitas medidas de sucesso em SI, a Satisfação da Informação do Usuário de Baroudi e
Orlikowski (1988) e o modelo SERVQUAL adaptado para medir a performance do serviço de
SI (SERVPERF), concluindo que há uma significativa relação entre os dois modelos,
indicando que os escores de gap da qualidade do serviço podem servir como medida de
sucesso em SI. Considerando a não uniformidade na estrutura fatorial do instrumento aplicado
em SI, os autores observaram que é importante a continuidade da comparação de estruturas
fatoriais entre diferentes amostras. Por último, Carr (2002) novamente aponta que as
propriedades psicométricas devem ser analisadas na validação do uso do instrumento para a
medição da qualidade do serviço em SI, visando identificar a pertinência ou não dos
resultados gerados pelo instrumento, bem como sobre os resultados da manipulação algébrica
entre os mesmos na construção dos gaps.
3. Metodologia de Pesquisa
Esta pesquisa, de caráter exploratório, buscou verificar o nível de qualidade de
serviços prestados pelo DSI (unidade de análise) para as unidades usuárias de uma empresa
específica, considerando como estratégia de pesquisa o estudo de caso único. Esta estratégia é
especialmente adequada para estudar as particularidades e complexidades de um fenômeno de
especial interesse dos envolvidos (pesquisadores e gestores da empresa), analisando em
detalhes a sua interação com seu contexto de ocorrência (YIN, 2001).
A operacionalização da pesquisa se deu através da aplicação de uma survey através do
instrumento de pesquisa SERVPERF do modelo SERVQUAL, utilizando uma escala tipo
Likert de discordância/concordância variando de 1 a 5 (sendo 1= discordo fortemente até 5 =
concordo fortemente). Esta metodologia foi utilizada buscando manter as características de
compatibilidade com pesquisas anteriores (CARR, 2002; JIANG et al., 2000; PITT et al.,
1995; PARASURAMAN et al. 1988:1991) e pelo fato desta pesquisa ser um estudo
transversal com o objetivo de avaliar a qualidade dos serviços já prestados pelo DSI às suas
unidades usuárias (CRONIN e TAYLOR, 1994).
3.1. Seleção da Empresa e Respondentes
A seleção da empresa deu-se por conveniência uma vez que um dos pesquisadores
participa do Comitê de TI para o Planejamento Estratégico corporativo. A empresa é de
grande porte apresentando um faturamento acima de 1 bilhão de dólares e mais de 4300
funcionários. Ela encontra-se estruturada em uma holding (corporativo) que comanda 10
unidades fabris no Brasil e mais 3 unidades localizadas no exterior, 6 Centros de Distribuição
(CD) no Brasil e 5 no exterior os quais monitoram os diversos Escritórios de Vendas e os
mais de 500 representantes. A cultura organizacional é voltada para gestão de pessoas e de
produtos. Se ambos mantiverem alto nível, considera-se que as vendas e lucros tendem ao
crescimento contínuo (posição da Diretoria). Este formato de gestão aliado a localização das
empresas (interior), reforça o resultado de baixo turnover, quase sempre zero de um ano para
outro.
O DSI é formado por 12 integrantes e atende por volta de 800 usuários, sendo 400
deles extremamente ativos. Existem 2 CIOs (Chieff Information Officer) – o de infra-estrutura
e o de sistemas de informações. O desenvolvimento de sistemas é interno, utilizando
5
tecnologia de banco de dados relacional e a visão de gestão integrada de informações. Os
sistemas classificam-se em dois grupos – administrativos e de produção. O atendimento aos
usuários é realizado através de um sistema de solicitação de chamados via web. O
atendimento para atividades de automação de escritórios é muito pequeno, pois além dos
usuários terem sido bem treinados, eles permanecem na empresa ao longo dos anos. Vale
destacar que em cada unidade fabril e CD é mantido um usuário-chave. Ele é um usuário de
negócio com treinamento aprofundado em algumas funções de TI, que provê atendimento
direto aos demais usuários de sua unidade.
Para o ano de 2004, foi definido o projeto “Governança de TI”, autorizado pelo alto
escalão do grupo. Como o DSI não tem idéia formal do nível de relacionamento com as
unidades usuárias, após algumas discussões, optou-se pela aplicação da pesquisa em várias
rodadas. Nesta primeira rodada, como uma prévia para tentar estabelecer os pontos fracos e
fortes do relacionamento além do gap existente entre o DSI e os usuários. A partir destes
resultados, serão realizadas as devidas ações corretivas para então realizar uma segunda
rodada e assim por diante até que seja possível estabelecer padrões de relacionamento que
permitam o monitoramento constante através dos indicadores indicados pelo CobiT (2004).
Ficou decidido que o instrumento, será aplicado de uma forma geral nestas rodadas para
depois ser alterado focando aplicativos, atividades ou serviços específicos e então, reaplicado.
Com isto, pretende-se garantir a identificação exata da atividade e responsável que está
promovendo problemas. O propósito final dos dirigentes é melhorar o nível de
relacionamento entre as partes, a qualidade dos serviços prestados e criar mecanismos de
pagamento de bônus (programa de incentivos) aos funcionários do DSI.
Os respondentes foram selecionados em conjunto com o alto escalão do grupo:
diretores, gerentes e usuários-chave de todas as unidades localizadas no Brasil. Eles foram
selecionados devido ao seu contato freqüente com o DSI e pelo volume de utilização dos
serviços, tendo sido informados sobre a pesquisa diretamente pelo Diretor Administrativo
Geral do corporativo. Vale ressaltar que a empresa não abre suas dependências para pesquisas
externas. Esta pesquisa foi aprovada em reunião de diretoria por questões estritamente de
interesse interno do grupo. Estes procedimentos permitiram garantir a representatividade da
amostra, obviamente considerando que para a seleção da mesma foi utilizado o critério não
probabilístico de conveniência. A população inicial esperada era de 400 respondentes. No
entanto, pela seleção de respondentes feita pela Diretoria, a pesquisa foi limitada aos 25
diretores e 118 gerentes de unidades fabris, 8 gerentes de CD e 16 usuários-chave, totalizando
167 respondentes.
3.2. O Instrumento de Pesquisa
O instrumento de pesquisa foi adaptado para a empresa estudada a partir da versão
original do modelo SERVQUAL, aplicado para a área de SI (PITT et al., 1995). Buscando as
validações de face e conteúdo (MALHOTRA, 2001), foram iniciados os procedimentos de
tradução do instrumento por dois pesquisadores: tradução individual e reuniões de
consolidação do entendimento do significado de cada questão. Vale destacar que os
pesquisadores são oriundos da área de TI, estando atualmente, mais estreitamente
relacionados com a área de negócios. O instrumento então, passou por um back translation,
tendo sido enviado para 3 especialistas, um residente na Inglaterra e dois nos Estados Unidos,
todos trabalhando com SI nestes locais há mais de quatro anos. Um pequeno ajuste foi
realizado.
Na seqüência, o instrumento foi analisado internamente pelo Comitê de TI da empresa
estudada, onde a questão original do SERVPERF sobre higiene e aparência pessoal (TANG2)
6
foi vetada pela Diretoria tendo sido substituída por uma relacionada ao Sistema de
Solicitação. Outras duas questões foram levemente alteradas adequando a forma e vocabulário
para melhor associação dos respondentes com sua representação. O CIO pediu que fossem
inseridas questões abertas para cada construto.
Três das dimensões originais tiveram seus nomes alterados no questionário como
forma de melhorar/facilitar o entendimento das respectivas dimensões pelos entrevistados:
Tangíveis para Aspectos Físicos (variável TANG), Responsividade para Atendimento
(variável RESP) e Segurança para Conhecimento (variável COMP). Os outros construtos
Confiabilidade (variável CONF) e Empatia (variável EMP) permaneceram iguais.
Observando a descrição teórica (Quadro 1) de cada uma das dimensões percebe-se que não
houve alteração do significado, apenas facilitou a compreensão dos usuários da empresa
estudada. Além disto, a escala foi alterada de 7 para 5 pontos a exemplo das pesquisas de
Jiang et al. (2000). Os resultados do Alfa de Crombach (Tabela 2) mostram que a consistência
interna da escala foi mantida (HAIR et al, 1998), garantindo confiabilidade no instrumento.
A seguir, foi realizada uma entrevista com um dos assessores dos Diretores do
corporativo para identificar possíveis problemas de compreensão das questões. Por fim, o
instrumento foi levado para o Diretor Administrativo Geral do grupo que deu seu aval para o
uso do mesmo naquele formato (Tabela 5).
Vale destacar que os próprios autores do modelo SERVQUAL (PARASURAMAN et
al., 1991) defendem que ele provê a estrutura básica que sustenta a qualidade do serviço,
podendo receber pequenas modificações de palavras e ser adicionado com itens relativos a
contextos específicos para alinhar-se com necessidades específicas. Dada a natureza da
realização da pesquisa e ao tempo de uso do instrumento em pesquisas anteriores que
justificam e confirmam a adequabilidade do instrumento, não foram realizados pré-testes ou
testes pilotos. Os testes de validade de construto, convergente, discriminante e nomológica
serão descritos a seguir.
3.3. Procedimentos de Coleta e Análise dos Dados
A coleta dos dados foi realizada seguindo os procedimentos padrões para o tipo de
pesquisa (MALHOTRA, 2001, HAIR et al, 1998; COHEN, 1988), tendo sido considerada
uma base de dados adequada para as análises de interpretação dos resultados. A coleta foi
realizada através da publicação do instrumento na Intranet da empresa, sendo informado para
os respondentes através de um e-mail com o endereço web da pesquisa. O anonimato foi
garantido. O tempo dado para resposta foi de 10 dias. Foram respondidos 60 questionários,
garantindo uma taxa de retorno de aproximadamente 35%. Um dos questionários foi
eliminado da amostra por apresentar respostas invariantes, resultando numa amostra final de
59 casos.
Para atingir o objetivo do trabalho de avaliar a percepção dos usuários com relação à
qualidade dos serviços prestados pelo DSI, e também testar a validade de construto
(convergente, divergente e nomológica), a verificação da estrutura fatorial dos dados foi
realizada através da utilização de duas técnicas de análise multivariada de 1ª (Análise Fatorial
Exploratória) e 2ª geração (Análise Fatorial Confirmatória). É oportuno observar que a
primeira técnica não seria estritamente necessária no caso do presente trabalho, uma vez que o
instrumento SERVPERF já foi testado em diversas oportunidades. No entanto, optou-se por
sua realização adotando um critério conservador, como forma de melhor conhecer os dados e
verificar sua estrutura fatorial inicial.
7
Além disto, antes da execução das análises multivariadas foram realizadas algumas
verificações subjacentes e mais acuradas sobre a dimensionalidade dos dados, necessárias à
aplicação das citadas análises, constituindo-se de:
• Exame gráfico dos dados – onde foram identificadas diversas variáveis com assimetria em
suas distribuições de freqüência, demonstrando uma concentração das respostas do lado
direito da escala utilizada;
• Análise de dados faltantes, ou seja, onde não há informação na variável – onde o maior
percentual observado de valores ausentes nas variáveis da pesquisa não superou 1,0%, não
sendo representativo e não implicando em substituição de dados faltantes ou eliminação
de casos, estando em conformidade com os padrões estatísticos onde 5% ou 10% de
valores ausentes em uma dada variável não é considerado alto (HAIR et al., 1998);
• Identificação das observações extremas às normalmente observadas (outliers) – detecção
realizada de forma uni e multivariada, estabelecendo o limite de pelo menos 3 desvios
padrões a partir dos quais uma observação possa ser considerada extrema, sendo que, a
amostra sob análise não apresentou nenhuma variável com desvio padrão superior a esse
valor, não havendo a ocorrência de extremos. Além disto, foi utilizada a técnica de
identificação de extremos multivariados através da medida D2 de Mahalanobis, que avalia
a posição de cada observação comparada com o centro de todas observações num
conjunto de variáveis e, também, nenhum extremo multivariado foi detectado.
• Teste das assunções estatísticas de análise multivariada – a necessidade deste teste se
justifica pela complexidade das relações, devido ao grande número de variáveis,
potencializando viés e distorções, quando estas assunções são violadas; e a complexidade
das análises e dos resultados podem esconder situações de violação destas assunções.
Assim, foram verificadas a normalidade, homoscedasticidade (relações de dependência
entre variáveis) e linearidade (a associação linear entre as variáveis). Também não foram
identificados problemas em relação a esses critérios que pudessem comprometer as
análises.
4. Análise dos Resultados
Nesta seção encontram-se apresentados os resultados encontrados após as seguintes
análises: análise fatorial exploratória representada pela matriz de correlações entre fatores e
pelo índice de confiabilidade dos construtos; a análise fatorial exploratória representada pelas
cargas fatoriais resultantes e pelos índices de ajuste do modelo de mensuração; a análise das
médias do nível de qualidade percebido e os gaps resultantes. O software utilizado para a
análise dos resultados foi o SPSS e o software AMOS (fatorial confirmatória).
4.1. Caracterização da Amostra
A amostra dos respondentes usuários é caracterizada por 30,5% têm até 30 anos; 61%
têm entre 31 e 45 anos e 8,5% mais de 45 anos. Houve mais homens respondentes (69,5%) do
que mulheres (30,5%). Em relação à escolaridade, a maioria dos respondentes tem pelo menos
curso superior (86%), sendo que mais da metade deles exercem cargo de chefia (54%). Por
fim, 67% dos respondentes trabalham na empresa há mais de 10 anos, contra 33% que
trabalham na empresa há menos de 10 anos.
8
4.2. Análise Fatorial Exploratória
Os resultados da análise fatorial exploratória encontram-se apresentados na Tabela 1,
tendo sido analisada a correlação entre fatores, o teste de esfericidade de Barttlet (643,15;
p<0,000) e a medida de adequação amostral (MSA=0,772), os quais representam a
probabilidade estatística de que a matriz correlacional possui correlações significantes e da
adequabilidade do uso da análise fatorial. Os resultados confirmam a adequabilidade da base
de dados.
TANG.
CONF.
RESP.
COMP.
EMP.
Tabela 1 – Matriz de Correlações entre Fatores
TANG.
CONF.
RESP.
COMP.
1,000
,414
,444
,317
,414
1,000
,523
,578
,444
,523
1,000
,399
,317
,578
,399
1,000
,264
,451
,450
,433
EMP.
,264
,451
,450
,433
1,000
O método de extração utilizado para esta análise foi o Unweighted Least
Squares, com rotação Promax. Os resultados encontrados indicaram dois itens problemáticos,
TANG1 (construto Aspecto Físico) e CONF3 (construto Confiabilidade). Ambos
apresentaram baixas cargas fatoriais em seus respectivos fatores, além de cargas fatoriais
cruzadas. Dessa forma, optou-se por sua eliminação. Como os demais fatores não
apresentaram problemas, pôde então ser feita a análise de confiabilidade, cujos resultados
encontram-se apresentados na Tabela 2.
Tabela 2 – Índices de Confiabilidade dos Construtos
Fatores
TANG.
CONF.
RESP.
COMP.
EMP.
0,70
0,67
0,75
0,85
0,79
Alfa ( )
De acordo com Nunnally e Bernstein (1994), o limite mínimo de aceitação para o Alfa
de Crombach é de 0,70. Apenas um fator (Tabela 2, construto CONF) ficou pouco abaixo
desse limite; sendo que os demais se mostraram satisfatórios. Assim, pode-se considerar que o
instrumento apresentou confiabilidade bastante razoável.
4.3. Análise Fatorial Confirmatória
Para a verificação final da validade de construto, realizou-se a Análise Fatorial
Confirmatória através da técnica de modelagem em equações estruturais. O objetivo desta
análise é medir o grau em que os dados obtidos na pesquisa respondem ao modelo esperado
(Figura 1), através da significância estatística.
A técnica conhecida por Modelagem em Equações Estruturais (Strutuctural Equations
Modeling) agrega várias técnicas multivariadas como regressão múltipla e análise fatorial
(HAIR et al., 1998, p. 578). As principais razões para o uso desta técnica nesta pesquisa
foram: a) lidar com relacionamentos múltiplos simultaneamente, proporcionando eficiência
estatística; b) medir estes relacionamentos de forma compreensiva e prover uma transição da
análise fatorial exploratória para a confirmatória, desenvolvendo uma visão mais holística e
sistemática sobre o problema de pesquisa.
Após a verificação das cargas fatoriais apresentadas e dos respectivos testes
estatísticos, foram analisados três conjuntos de medidas de ajuste do modelo: a) medidas de
ajustamento absoluto (absolute fit measures), que medem tão somente o ajustamento dos
9
modelos (estrutural e de medição); b) medidas de ajustamento incremental (incremental fit
measures), comparando o modelo proposto com outro modelo especificado pelo pesquisador;
e c) medidas de ajustamento parsimônico (parsimonious fit measures), que “adequam” as
medidas de ajustamento para que seja feita a comparação entre modelos que apresentam
valores diferentes nos coeficientes estimados, tendo por propósito a determinação da
quantidade de ajuste adquirida pelo coeficiente de estimativa. A aplicação de múltiplas
medidas proporciona ao pesquisador obter consenso através de tipos de medidas visando a
aceitação do modelo.
Figura 1 – Resultados da Análise Fatorial Confirmatória (cargas fatoriais)
Os resultados apresentados acima indicam magnitudes fatoriais bastante razoáveis
(acima de 0,5) em praticamente todos os itens, com exceção do EMP1 (0,33). Esses resultados
são uma evidência de validade convergente, da mesma forma que as correlações positivas
identificadas entre os construtos (Tabela 1). A inexistência de correlações próximas de 1
também pode ser considerada um indicativo de validade discriminante.
A última etapa desta análise fatorial confirmatória foi a avaliação dos índices de ajuste
do modelo, apresentados na Tabela 3. O índice mais utilizado tem sido a estatística quiquadrado ( 2), tanto de forma absoluta acompanhada do respectivo teste estatístico, quanto
na razão 2 divido pelos graus de liberdade (neste caso, uma medida de ajuste de
parcimônia). Regras práticas indicam que relações até 5 são consideradas satisfatórias
(BAUMGARTNER e HOMBURG, 1996). No presente modelo, a relação qui-quadrado ( 2) /
graus de liberdade (GL) apresentou-se bastante satisfatória (0,386), o que indica que a matriz
estimada correspondeu bem à matriz observada.
Os demais índices apresentaram-se bastante satisfatórios. Todos com magnitudes
próximas dos valores considerados para bons modelos. O índice utilizado para mensuração
dos erros mostrou-se baixo (0,07). Dessa forma, considera-se validada a estrutura fatorial e
finalizada a análise fatorial confirmatória.
10
Tabela 3 – Índices de Ajuste do Modelo de Mensuração
Índices de ajuste do
Parâmetros desejados
Valores obtidos
modelo
(segundo Hair et al, 1998)
2
61,813
GL
160
2
/ GL
<5
0,386
GFI
Valores altos (próximos de 1) indicam bom
0,96
ajuste – não há valor mínimo
AGFI
>,90
0,94
NFI
>,90
0,94
RFI
>,90
0,93
RMR
Não especificado, quanto mais próximo de
0,07
zero melhor
4.4. O Nível de Qualidade de Serviço Percebido e o Gap Resultante
A próxima etapa deste trabalho constituiu-se da avaliação do nível de qualidade de
serviços percebidos pelos usuários, pelo DSI e o gap encontrado em cada questão (Tabela 4).
Medir o nível de serviço é importante para promoção de sua melhoria (PITT et al., 1995).
Medir o gap é importante para que os grupos envolvidos no acordo de serviços possam
promover a melhoria contínua dos mesmos sob a mesma perspectiva. Se o gap apresentar
resultado zero, significa que ambos os grupos percebem o nível do serviço acordado de forma
igual, mas não implica que estejam satisfeitos com o resultado entregue. Um resultado
positivo significa que os usuários estão muito satisfeitos com os serviços entregues. Um
resultado negativo indica que a performance do serviço apresenta níveis insatisfatórios ou
não-conformidade com o que foi acordado (JIANG et al., 2000).
Analisando de forma geral os principais resultados obtidos (Tabela 4), pode-se dizer
que existe um consenso geral de concordância entre usuários e funcionários do DSI sobre a
maior parte dos itens (gaps resultantes próximos de zero), indicando que as percepções sobre
o fornecimento dos serviços são similares, sejam elas medianas, positivas ou negativas.
Porém, a maioria dos itens mostra que os usuários não estão totalmente satisfeitos com o nível
dos serviços prestados, estando os resultados um pouco acima da média (entre os pontos 3 e 4
da escala). Vale destacar o item EMP3 (construto Empatia) que obteve gap igual a zero
demonstrando que o nível de atendimento individual é percebido igualmente por ambas as
partes envolvidas e também, o item RESP2 (construto Atendimento) que apresenta o maior
gap (-0,67) demonstrando que o não atendimento de urgência parece ser um forte candidato
para ações corretivas imediatas principalmente, se relacionado com resultados e comentários
do construto Empatia sobre a necessidade de maior proximidade do DSI com as unidades
usuárias.
Outros resultados mais insatisfatórios merecem destaque especial, pois serão eles os
merecedores de ações corretivas de curto prazo. São eles:
• Com relação aos Aspectos Físicos, 21,66% dos usuários, através de seus comentários,
reforçam os resultados medianos obtidos nas questões TANG3 e TANG4 sobre interface e
estímulo visual dos sistemas e materiais fornecidos pelo DSI;
• Com relação à Confiabilidade, também 21,66% dos usuários, através de seus comentários,
reforçam os resultados entre médio e baixo obtidos nas questões CONF3 (eliminada) e
CONF4 sobre prazos de entrega e não conformidades dos serviços com as especificações
iniciais. Três respondentes apresentam sugestões válidas que serão levadas em
consideração como ações corretivas, ou seja, criação de um laboratório de testes;
11
Construto
(Dimensão)
Aspectos
Físicos
(TANG)
Confiabilidade
Atendimento
Conhecimento
Empatia
•
Tabela 4 – Percepção dos Usuários versus Percepção do DSI e Gap Resultante
Médias
Questão
(Item)
Usuários
DSI
Os equipamentos disponibilizados pela Empresa são
3,81
4,00
modernos (microcomputadores, impressoras, notebooks,
projetores de vídeo, etc). (ITEM ELIMINADO)
O Sistema de Controle de Solicitações (para manutenção nos
3,78
4,17
sistemas) é fácil de usar e atende às suas necessidades.
As telas, relatórios e a documentação dos sistemas utilizam
3,61
3,33
linguagem clara e de fácil compreensão.
Os materiais (planilhas, telas de consulta, relatórios,
3,53
3,08
manuais) fornecidos pelo DSI estimulam sua visualização e
utilização.
Quando o DSI promete realizar algo em um certo período de
3,54
3,58
tempo, ele o faz (por exemplo: treinamento sobre o uso de
sistemas, atualizações dos sistemas).
Quando você tem um problema, o DSI mostra um real
3,81
4,33
interesse em resolvê-lo.
Quando o serviço do DSI é entregue há necessidade de
2,53
2,92
correções. (ITEM ELIMINADO)
O DSI entrega seus serviços no tempo em que prometeu fazê3,22
3,42
lo (sem atrasos).
O DSI dá ênfase na geração de relatórios e documentação
3,58
4,08
sem erros.
Os funcionários do DSI dizem para você exatamente quando
3,37
3,00
os serviços serão executados.
Se você tem uma necessidade com característica urgente, ela
3,75
4,42
é resolvida imediatamente quando requisitada, pelos
funcionários do DSI.
Os funcionários do DSI estão sempre dispostos a auxiliar
4,20
4,33
você.
Os funcionários do DSI mesmo ocupados respondem as suas
3,90
3,58
perguntas e dúvidas, imediatamente quando requisitado.
O comportamento dos funcionários do DSI inspira confiança
4,17
4,00
em você.
Você se sente seguro quanto as suas tratativas com o DSI
3,73
3,75
(eles devolvem o que realmente foi negociado e no tempo
certo).
Os funcionários do DSI mostram-se sempre seguros ao
3,86
4,17
responder suas questões.
Os funcionários do DSI possuem o conhecimento necessário
4,08
4,00
para responder suas perguntas e dúvidas.
O DSI fornece atenção individual para você.
3,85
3,67
O DSI presta serviços em horários convenientes a você (por
3,95
4,58
exemplo, durante e fora do horario de trabalho).
O DSI tem funcionários que proporcionam atenção adequada
3,92
3,92
às suas necessidades.
O DSI demonstra real importância às grandes necessidades
3,85
4,00
apresentadas por você.
Os funcionários do DSI compreendem necessidades
3,69
3,67
específicas apresentadas por você.
Gap
-0,19
-0,39
0,28
0,44
-0,04
-0,52
-0,39
-0,20
-0,51
0,37
-0,67
-0,13
0,31
0,17
-0,02
-0,30
0,08
0,18
-0,63
0,00
-0,15
0,03
Com relação ao Atendimento, apenas 6,66% dos usuários fizeram comentários sobre uma
certa demora no atendimento em determinadas circunstâncias, principalmente fora do
horário comercial, e sobre o DSI não fornecer uma data prevista de conclusão das
solicitações emitidas (RESP1). Tanto os resultados quantitativos quanto os comentários
12
•
•
mostram que a maioria dos usuários está satisfeita com o atendimento prestado pelo DSI,
achando-os solícitos e sempre presentes;
Com relação ao Conhecimento, 10,00% dos usuários comentaram que apesar do bom
conhecimento, do esforço e segurança passada pelos funcionários do DSI quando
respondem dúvidas dos usuários, eles ainda demonstram alguma insegurança em situações
específicas (alguns citam os casos). Os resultados da Tabela 4 demonstram esta confiança
dos usuários com relação ao conhecimento dos funcionários do DSI;
Com relação à Empatia, 13,33% usuários fizeram comentários sugestivos sobre a
possibilidade do DSI contratar mais pessoas para que pudesse dar um atendimento pessoal
(presença nas unidades) mais freqüente (EMP3) e a possibilidade de manter um plantão
noturno (EMP2), o que coincide com os resultados obtidos no construto Atendimento.
5. Conclusões e Contribuições
Um dos principais motivadores dos dirigentes da empresa estudada, ao participar desta
pesquisa, foi a busca da melhoria contínua da gestão de TI através de melhores práticas
(CobiT, 2004; JIANG, et al., 2003). Os resultados encontrados, expressos na Tabela 4,
demonstram que existem pontos de ajuste para a gestão do DSI principalmente aqueles
relacionados com os itens interface, prazos de entrega, conformidade de serviços e processos,
e atendimento mais próximo às unidades usuárias. A análise consolidada pelas dimensões
(Tabela 5) do modelo SERVQUAL (Quadro 1) adaptado para o estudo de caso específico,
demonstra que o principal propósito da pesquisa foi atingido, ou seja, a mensuração do nível
de serviço acordado entre as unidades usuárias e o DSI o qual reflete na qualidade dos
serviços prestados (média dos usuários observada entre os pontos 3 e 4 da escala) e na
importância relativa (gaps resultantes) dos mesmos. Estes resultados proporcionaram
responder o questionamento do alto escalão da empresa estudada, possibilitando ações
corretivas de curto prazo.
Dimensões
Aspectos Físicos
Confiabilidade
Atendimento
Conhecimento
Empatia
Tabela 5 – Análise Consolidada pelas Dimensões (construtos)
Média Usuários
Média DI
3,64
3,53
3,54
3,85
3,81
3,83
3,96
3,98
3,85
3,97
Gap (U - DI)
0,11
-0,32
-0,03
-0,02
-0,12
Uma importante contribuição obtida com esta pesquisa foi com relação a adequação
do instrumento SERVPERF dentro do contexto de uma empresa brasileira que mantém o
relacionamento cliente interno e DSI (em vez de terceirizados). O instrumento mostrou ser
tecnicamente adequado (análises fatoriais), consistente e íntegro (HAIR et al., 1998), apesar
do nome dos construtos alterados, do item substituído e dos outros levemente modificados, da
escala reduzida e dos dois itens eliminadas após análises fatoriais (JIANG et al., 2000;
PARASURAMAN et al., 1991). Vale destacar que os executivos da empresa estudada, não
quiseram eliminar o item CONF3 (serviços entregues com erros), pois eles consideraram que
os comentários e as percepções do DSI (positivas quanto a erros) são pertinentes para ações
corretivas. No entanto, ficou determinado que a palavra erro não fosse utilizada na publicação
dos resultados na Intranet, mas sim, a expressão não conformidade de processos e serviços.
Outra possível contribuição desta pesquisa pode estar relacionada com o conjunto de
variáveis do construto Aspectos Físicos. Tanto os pesquisadores, quanto os executivos de
negócio e de TI da empresa estudada entendem que este construto deveria conter dois
13
conjuntos de variáveis: um relacionado a infra-estrutura (hardware, software básico e
telecomunicações) e outro aos sistemas de informação (banco de dados, sistemas, automação
de escritório). Como esta pesquisa está tendo continuidade junto a uma grande organização
brasileira do setor financeiro e opiniões semelhantes estão ocorrendo com relação ao
construto original do SERVPERF assim como sobre a questão higiene e aparência pessoal,
uma exploração será realizada neste sentido. Independente disto, esta é uma sugestão para
pesquisas futuras.
Ainda com relação a benefícios que a pesquisa trouxe para a empresa estudada, a
Diretoria decidiu que a pesquisa deve entrar para o contexto da gestão permanente de TI.
Alguns comentários dos usuários, parabenizando a iniciativa do DSI, reforçaram esta decisão.
Apesar da robustez dos procedimentos adotados para análise dos dados e da amostra
de dados consistente, não foi possível generalizar estes resultados, tendo em vista a unidade
de análise estudada (DSI de uma única empresa). Contudo os resultados encontrados
complementam elementos e resultados de pesquisas anteriores, apontando direções para
pesquisas futuras. Uma das principais contribuições acadêmicas talvez possa ser atribuída a
idéia de diferenciar melhor os itens do construto Aspecto Físico. Não se pode esquecer que
este instrumento, inicialmente, foi desenvolvido para a área de Marketing (CRONIN e
TAYLOR, 1992; PARASURAMAN et al., 1985) onde o nível de qualidade é medido em
relação a um produto físico (hard) e não lógico (soft) como é o caso de sistemas. Talvez esta
seja uma interpretação lógica para as sugestões de evolução do instrumento.
Por fim, este estudo buscou prover conhecimento para os gerentes e profissionais da
área de TI, através do uso de um instrumento já consagrado, mas pouco explorado associado a
área de Governança de TI junto a promoção de melhoria contínua dos processos e serviços
fornecidos por e para clientes internos (funcionários do DSI são colegas dos usuários).
Acredita-se que o grande desafio enfrentado por pesquisadores e administradores da área
refere-se às operacionalizações das melhores práticas. Os resultados obtidos permitem crer
que estas são algumas das variáveis importantes para avaliar e criar mecanismos de
monitoramento do domínio Entrega e Suporte do CobiT (2004). Uma instrumentação de
gestão como esta deve servir de ferramenta de avaliação para promoção de melhoria contínua
dos processos, dos serviços e do relacionamento entre as partes envolvidas no acordo,
ajudando a otimizar os investimentos de TI, fornecendo métricas para avaliação dos
resultados, balanceando e reduzindo o risco das empresas.
Referências Bibliográficas
BAROUDI, J. J.; ORLIKOWSKI, W. J. A short-form measure of user information
satisfaction: A psychometric evaluation and notes on use. Journal of Management
Information Systems, v. 4, n. 4, p. 44-59, 1988.
BABAKUS, E.; BOLLER, G. W. An Empirical Assessment of the SERVQUAL Scale.
Journal of Business Research, v. 24, n. 3, p. 253-268, 1999.
BAUMGARTNER, H. e HOMBURG, C. Applications of Structural Equation Modeling in
Marketing and Consumer Research: A Review. International Journal of Research in
Marketing, v. 13, 1996.
BERRY, Leonard L.; PARASURAMAN, A.; ZEITHAML, Valerie A. Five Imperatives for
Improving Service Quality. MIT Sloan Management Review, v. 31, n. 4, p. 29-37,
Summer 1990.
BUTTLE, Francis. SERVQUAL: Review, Critique, Research Agenda. European Journal of
Marketing, v. 30, n. 1, p. 8-32, 1996.
14
CARR, Christopher L. A Psychometric Evaluation of the Expectatios, Perceptions, and
Difference-Scores Generated by the IS-Adapted SERVQUAL Instrument. Decision
Sciences, v. 33, n. 2, p. 281-296, Spring 2002.
COBIT. Pages 1. ISACF Information Systems Audit and Control Foundation. Disponível
em:<http://www.isaca.org. CobiT On-Line >. Acesso em: 27 de abr. 2004.
COHEN, Jacob. Statistical Power analysis for the behavioral sciences. 2nd. ed. Hilldale,
NJ: Erlbaum, 1988.
CRONIN, J. Joseph; TAYLOR, Steven A. Measuring Service Quality: A Reexamination and
Extension. Journal of Marketing, v. 56, n. 3, p. 52-68, 1992.
CRONIN, J. Joseph; TAYLOR, Steven A. SERVPERF Versus SERVQUAL: Reconciling
Performance-Based and Perceptions-Minus-Expectations Measurement of Service Quality.
Journal of Marketing, v. 58, p. 125-131, 1994.
HAIR, Joseph, ANDERSON, Rolph, TATHAM, Ronald, BLACK, William. Multivariate
Data Analysis. 5. Ed. Upper Saddle River: Prentice-Hall, 1998.
JIANG, James J.; KLEIN, Gary; CRAMPTON, Suzzane M. A Note on SERVQUAL
Reliability and Validity in Information System Service Quality Measurement. Decision
Sciences, v. 31, n. 3, p. 725-74, Summer 2000.
JIANG, James J.; KLEIN, Gary; TESCH, Debbie; CHEN, Hong-Gee. Closing the User and
Provider Service Quality Gap. Communications of the ACM, v. 46, n. 2, Feb. 2003.
KETTINGER, William J.; LEE, Chong C. Replication of Measures of Information Systems
Research: The Case of IS SERVQUAL. Decision Sciences, v. 30, n. 3, p. 893-899,
Summer 1999.
MALHOTRA, N. K. Pesquisa de Marketing, uma orientação aplicada. Porto Alegre:
Bookman, 2001, 205 p.
MULLER, Nathan J. Managing Service Level Agreements. International Journal Network
Management, v. 9, p. 155-166, 1999.
NUNNALLY, Jum C.; BERNSTEIN, Ira H. Psychometric Theory. 3rd. ed. New York:
McGraw-Hill, 1994.
PARASURAMAN, A.; ZEITHAML, Valerie A.; BERRY, Leonard L. A conceptual model of
service quality and its implications for future research. Journal of Retailing, v. 49, p. 4150, Fall 1985.
PARASURAMAN, A.; ZEITHAML, Valerie A.; BERRY, Leonard L. SERVQUAL: A
multiple-item scale for measuring consumer perceptions of service quality. Journal of
Retailing, v. 64, p. 12-40, 1988.
PARASURAMAN, A.; ZEITHAML, Valerie A.; BERRY, Leonard L. Refinement and
Reassessment of the SERVQUAL Scale. Journal of Retailing, v. 67, n. 4, p. 420-450,
1991.
PITT, Leyland F.; WATSON, Richard T.; KAVAN, C. Bruce. Service Quality: A Measure of
Information Systems Effectiveness. MIS Quarterly, v. 19, n. 2, p. 173-187, 1995.
SUSARLA, Anjana; BARUA, Anitesh; WHINSTON, Andrew B. Understanding the Service
Component of Application Service Provision: An Empirical Analysis of Satisfaction with
ASP Services. MIS Quarterly, v. 27, n. 1, p. 91-123, Mar. 2003.
TEAS, R. K. Expectations, Performance Evaluation and Consumer’s Perception of Quality.
Journal of Marketing, v. 57, n. 4, p. 18-34, 1993.
TURBAN, E.; McLEAN, E.; WETHERBE, J. Tecnologia da informação para Gestão. 3ª.
ed. Porto Alegre, RS: Ed. Bookman, 2004.
VAN DYKE, Thomas P.; PRYBUTOK, Victor R.; KAPPELMAN, Leon A. Measuring
Information Systems Service Quality: Concerns on the Use of the SERVQUAL
Questionnaire. MIS Quarterly, v. 21, n. 2, p. 195-208 , Jun. 1997.
15
VAN DYKE, Thomas P.; KAPPELMAN, Leon A.; PRYBUTOK, Victor R. Cautions on the
Use of the SERVQUAL Measure to Assess the Quality of Information Systems Services.
Decision Sciences, v. 30, n. 3, p. 877-891 , Summer 1999.
YIN, Robert K.. Estudo de Caso: planejamento e métodos. Trad. Daniel Grassi, 2ª ed..
Porto Alegre: Bookman, 2001. 205 p.
16