PESQUISA DE SATISFAÇÃO DOS USUÁRIOS
DO CENTRO DE INFORMÁTICA DA CÂMARA
DOS DEPUTADOS: O ÍNDICE DE SATISFAÇÃO
COMO INDICADOR ESTRATÉGICO
Fernando Antonio Teixeira
2012
Biblioteca Digital da Câmara dos Deputados
Centro de Documentação e Informação
Coordenação de Biblioteca
http://bd.camara.gov.br
"Dissemina os documentos digitais de interesse da atividade legislativa e da sociedade.”
Centro Universitário do Distrito Federal – UDF
Fernando Antonio Teixeira
PESQUISA DE SATISFAÇÃO DOS USUÁRIOS DO CENTRO DE INFORMÁTICA
DA CÂMARA DOS DEPUTADOS:
O ÍNDICE DE SATISFAÇÃO COMO INDICADOR ESTRATÉGICO
Brasília – DF
2012
FERNANDO ANTONIO TEIXEIRA
PESQUISA DE SATISFAÇÃO DOS USUÁRIOS DO CENTRO DE INFORMÁTICA
DA CÂMARA DOS DEPUTADOS:
O ÍNDICE DE SATISFAÇÃO COMO INDICADOR ESTRATÉGICO
Trabalho de conclusão de curso apresentado a Pós–
Graduação, Pesquisa e Extensão do Centro Universitário
do Distrito Federal - UDF, como requisito parcial para
obtenção do título de Especialista - MBA em Governança
de Tecnologia da Informação no Setor Público.
Orientador: Prof. Dr. Wander C. M. Pereira da Silva
Brasília – DF
2012
Folha de aprovação
As _______ horas do dia ___________ do mês de ___________________
do ano de ________ compareceram para defesa pública do Trabalho de
Conclusão de Curso, requisito obrigatório para a obtenção do título de
Especialista em GOVERNANÇA DE TI no SETOR PÚBLICO o aluno (a):
FERNANDO ANTONIO TEIXEIRA tendo como Título do Trabalho de
Conclusão de Curso: PESQUISA DE SATISFAÇÃO DOS USUÁRIOS DO
CENTRO
DE
INFORMÁTICA
DA
CÂMARA
DOS
DEPUTADOS:
IDENTIFICANDO FORÇAS E FRAQUEZAS.
Constituíram a Banca Examinadora os professores:
_______________________________________________________
Professor Orientador
_______________________________________________________
Professor(a) Examinador(a)
Após a apresentação e as observações dos membros da banca o trabalho
foi considerado:
( ) aprovado com o conceito__________ (0 a 10 pontos).
( ) reprovado
Eu, Prof. Dr. Wander C. M. Pereira da Silva (Orientador), lavrei a presente
ata que segue assinada por mim e pelos demais membros da Banca
Examinadora.
Ass. _______________________________________________________
À minha esposa Rosineide, aos meus filhos
Eduardo e João e aos meus pais Rudes e
Helena.
AGRADECIMENTOS
Agradeço especialmente à Roberta Rabay e à Janaína Catete por terem
me propiciado a oportunidade de participar da pesquisa e aos demais membros da
equipe, Raquel Flores e Osmar Gondim, a valiosa colaboração durante todo o
trabalho.
RESUMO
Monitorar a percepção de qualidade sob a ótica do usuário é fundamental
para se estabelecer mecanismos de melhoria dos produtos e serviços oferecidos. O
planejamento estratégico do Centro de Informática da Câmara dos Deputados,
CENIN, para o quadriênio 2010 a 2013, estabeleceu o indicador Índice de Satisfação
do Usuário do CENIN com o objetivo de mensurar o objetivo estratégico Aprimorar o
atendimento aos parlamentares e órgãos da Câmara dos Deputados. O presente
trabalho teve como objetivo realizar a primeira medição do referido indicador através
de uma pesquisa de satisfação de usuário e, consequentemente, estabeleceu uma
forma de cálculo para as demais medições do indicador. Além disso, esse trabalho
deixa um legado de importantes informações que poderão subsidiar ações
estratégicas no sentido de melhorar a qualidade dos serviços prestados pelo CENIN.
Palavras-chave: Pesquisa. Satisfação. Usuário. Informática. Indicador Estratégico.
ABSTRACT
Monitoring the quality perception from user’s perspective is important to establish
mechanisms to improve the products and offered services. The strategic planning of
the Computer Center of the Chamber of Deputies, CENIN, from 2010 to 2013, set the
indicator CENIN User's Satisfaction Index with the aim of measuring the strategic
objective Improve service to parliamentarians and divisions of Chamber of Deputies.
The present work was aimed at making the first measurement of this indicator
through a user satisfaction survey and additionally established a calculation method
for the future measurements of the indicator. Moreover, this work leaves a legacy of
important information that will support strategic actions to improve the quality of
services provided by CENIN.
Keywords: Survey. Satisfaction. User. Computing. Strategic Indicator.
LISTA DE FIGURAS
Figura 1 – Modelo de fatores que afetam a satisfação do usuário final de TIC
(MAHMOOD, BURN, et al., 2000) ............................................................................. 15
Figura 2 – Modelo de satisfação do usuário final (ADAMSON e SHINE, 2003) ........ 16
Figura 3 – Questão para Avaliação do Nível Geral de Satisfação com o CENIN ...... 18
Figura 4 – Indicadores Específicos ........................................................................... 19
Figura 5 – Questão para Avaliação de Indicador Específico ..................................... 20
Figura 6 – Quadro Resumo da Amostra .................................................................... 23
Figura 7 – Promédios da Avaliação Geral do CENIN ................................................ 27
Figura 8 – Coeficientes de dispersão da Avaliação Geral do CENIN ........................ 28
Figura 9 – Avaliação dos Indicadores Específicos .................................................... 36
LISTA DE GRÁFICOS
Gráfico 1 – Histograma da Avaliação Geral do CENIN ............................................. 27
Gráfico 2 – Curva de Tendência e Diagrama de Quartis da Avaliação Geral do
CENIN ....................................................................................................................... 28
Gráfico 3 – Frequência da Avaliação Geral do CENIN agrupada por Conceitos....... 29
Gráfico 4 – Média da Avaliação Geral do CENIN por Cargo ..................................... 30
Gráfico 5 – Média da Avaliação Geral do CENIN por Função ................................... 30
Gráfico 6 – Média da Avaliação Geral do CENIN por Tempo de Serviço na Câmara
dos Deputados .......................................................................................................... 31
Gráfico 7 – Média da Avaliação Geral do CENIN por Gênero ................................... 32
Gráfico 8 – Média da Avaliação Geral do CENIN por Órgão ..................................... 32
Gráfico 9 – Média da Avaliação Geral do CENIN das Chefias dos Órgãos .............. 34
Gráfico 10 – Comparativo entre as Médias da Avaliação Geral do CENIN dos Órgãos
e as Médias das Respectivas Chefias ....................................................................... 34
Gráfico 11 – Frequência da Avaliação da Importância da TIC para o Desempenho
das Atividades do Usuário ......................................................................................... 35
Gráfico 12 – Frequência da Avaliação dos Indicadores ............................................ 37
Gráfico 13 – Frequência Consolidada da Avaliação dos Indicadores ....................... 38
Gráfico 14 – Comparativo entre a Avaliação Geral do CENIN e a
Avaliação
Consolidada dos Indicadores – escala conceitual ..................................................... 38
Gráfico 15 – Comparativo entre a Avaliação Geral do CENIN e a
Avaliação
Consolidada dos Indicadores – escala numérica ...................................................... 39
Gráfico 16 – Índice de Satisfação dos Indicadores ................................................... 40
Gráfico 17 – Coeficiente de Correlação dos Indicadores sobre a Avaliação Geral do
CENIN ....................................................................................................................... 41
LISTA DE TABELAS
Tabela 1 – População de Usuários do CENIN .......................................................... 22
Tabela 2 – Freqüência amostral por cargo ................................................................ 23
Tabela 3 – Frequência amostral por função exercida ............................................... 24
Tabela 4 – Frequência amostral por tempo de serviço na Câmara dos Deputados .. 25
Tabela 5 – Frequência amostral por Gênero ............................................................. 25
Tabela 6 – Frequência amostral por órgão comparada com a freqüência amostral
das chefias dos respectivos órgãos .......................................................................... 26
Tabela 7 - Tabela de conversão da escala de conceito para a escala numérica ...... 39
LISTA DE SIGLAS
CEDI
Centro de Documentação e Informação
CEFOR
Centro de Formação, Treinamento e Apefeiçoamento
CENIN
Centro de Informática da Câmara dos Deputados
CNE
Cargo de Natureza Especial
CONLE
Consultoria Legislativa
CONOF
Consultoria de Orçamento e Fiscalização Financeira
DEAPA
Departamento de Apoio Parlamentar
DECOM
Departamento de Comissões
DEFIN
Departamento de Finanças, Orçamento e Contabilidade
DEMAP
Departamento de Material e Patrimônio
DEMED
Departamento Médico
DEPES
Departamento de Pessoal
DEPOL
Departamento de Polícia Legislativa
DETAQ
Departamento de Taquigrafia Revisão e Redação
DETEC
Departamento Técnico
DG
Diretoria Geral
DILEG
Diretoria Legislativa
DIRAD
Diretoria Administrativa
DRH
Diretoria de Recursos Humanos
SECIN
Secretaria de Controle Interno
SECOM
Secretaria de Comunicação
SGM
Secretaria Geral da Mesa
TIC
Tecnologia da Informação e Comunicação
SUMÁRIO
1
INTRODUÇÃO ................................................................................................... 13
2
REFERENCIAL TEÓRICO ................................................................................ 14
2.1
3
SATISFAÇÃO DO USUÁRIO DE TIC ............................................................. 14
A PESQUISA DE SATISFAÇÃO DO USUÁRIO DO CENIN............................. 18
3.1
QUESTIONÁRIO DA PESQUISA .................................................................... 18
3.2
COLETA DE DADOS ...................................................................................... 20
3.3
RESULTADOS ................................................................................................ 21
3.3.1
Dados da População .................................................................................. 21
3.3.2
Dados da Amostra...................................................................................... 22
3.3.3
Avaliação Geral do CENIN ......................................................................... 27
3.3.4
Avaliação da importância da TIC .............................................................. 35
3.3.5
Avaliação dos indicadores específicos.................................................... 36
4
CONCLUSÕES .................................................................................................. 42
REFERÊNCIAS ......................................................................................................... 43
ANEXOS ................................................................................................................... 45
ANEXO A – PLANEJAMENTO ESTRATÉGICO CENIN 2010-2013 ......................... 46
Mapa estratégico ..................................................................................................... 46
Índice de satisfação do usuário ............................................................................. 47
ANEXO B – QUESTIONÁRIO APLICADO NA PESQUISA ....................................... 48
ANEXO C – SOLUÇÕES DE SOFTWARE CITADAS NA PESQUISA ..................... 51
ANEXO D – AVALIAÇÃO CONSOLIDADA DAS PRINCIPAIS SOLUÇÕES DE
SOFTWARE (FREQUENCIA >= 10) ......................................................................... 52
ANEXO E – ÍNDICE DE QUALIDADE DAS PRINCIPAIS SOLUÇÕES DE
SOFTWARE .............................................................................................................. 53
ANEXO
F
–
AVALIAÇÃO
DETALHADA
DOS
PRINCIPAIS
SISTEMAS
DESENVOLVIDOS PELO CENIN ............................................................................. 54
13
1
INTRODUÇÃO
A qualidade de produtos e serviços pode ser avaliada sob diversas
perspectivas. Uma perspectiva seria, por exemplo, verificar se o produto ou o serviço
está em conformidade com as suas especificações. Outra perspectiva, na qual esse
trabalho irá se desenvolver, é a percepção de qualidade sob o ponto de vista do
cliente. Entender a percepção do cliente sobre os produtos e serviços oferecidos é
um elemento importante no planejamento estratégico organizacional.
Medir a satisfação interna de uma organização também se mostra como
elemento importante para a melhoria dos processos internos da organização. Nesse
sentido, o Centro de Informática da Câmara dos Deputados, estabeleceu em seu
planejamento estratégico 2010 a 2013 o indicador Índice de Satisfação do Usuário
com o objetivo de verificar “a percepção do usuário com relação ao atendimento de
suas expectativas quanto aos serviços prestados pelo CENIN” (CENIN, 2010). Esse
indicador está relacionado ao objetivo estratégico Aprimorar o atendimento aos
parlamentares e órgãos da Câmara dos Deputados e tem impacto direto em 3
projetos estratégicos: 1) Implantação de processos e ferramenta para gestão de
serviços de TIC; 2) Adequação da estrutura organizacional do CENIN; 3)
Implantação de processo de Gerência de Relacionamento.
O presente trabalho realizou a primeira medição do Índice de Satisfação
do Usuário do CENIN a partir da aplicação de uma pesquisa de satisfação. Como se
trata da primeira medição, o estudo estabeleceu uma forma de cálculo para o
indicador que poderá ser utilizada em medições futuras.
O trabalho descreve todo o processo de medição do indicador que se
inicia com a elaboração do questionário, passa pela aplicação da pesquisa e é
finalizado com a análise dos dados coletados. Mais do que oferecer um índice, este
trabalho busca oferecer um conjunto de informações importantes que possam
subsidiar ações efetivas para a melhoria dos serviços prestados pelo Centro de
Informática da Câmara dos Deputados.
14
2
2.1
REFERENCIAL TEÓRICO
SATISFAÇÃO DO USUÁRIO DE TIC
Para alguns pesquisadores, a satisfação ou insatisfação do cliente está
relacionada à diferença entre a expectativa e o desempenho percebido do produto
ou serviço. Para esses pesquisadores, a satisfação do cliente pode ser definida
como uma “resposta do cliente para a avaliação da discrepância entre as
expectativas anteriores (ou alguma outra norma de desempenho) e a percepção de
desempenho atual do produto após o seu consumo” (TSE e WILTON, 1988).
Outra linha de pesquisa sugere que o grau de satisfação é influenciado
por um padrão de comparação estabelecido por experiências prévias e a
desconfirmação (YI, 1989), ou seja, o grau de satisfação é influenciado pelo o
quanto o padrão de comparação é desconfirmado. Esse padrão de comparação
pode ser desconfirmado positivamente ou negativamente.
A satisfação do usuário final é fator chave para o sucesso da TI
(MAHMOOD, BURN, et al., 2000). Na literatura, as características dos sistemas e as
informações
disponibilizadas
pelos
sistemas
são
consideradas
conceitos
fundamentais para a satisfação do usuário final. Algumas pesquisas demonstram
que a satisfação do usuário final de TIC é mais elevada em empresas menos
centralizadas (MONTAZEMI, 1988).
Existe uma complexa inter-relação de fatores que influenciam as
expectativas dos usuários e, consequentemente, a sua satisfação. A dificuldade em
isolar esses fatores tem resultando na falta de um modelo abrangente sobre os
fatores que influenciam a satisfação do usuário de TI (MAHMOOD, BURN, et al.,
2000). Ditsa e MacGregor (DITSA e MACGREGOR, 1995) definiram, a partir de
análises de diversos modelos e teorias, uma categorização de fatores que
influenciam a satisfação do usuário com os sistemas de informação (SI). As
categorias são as seguintes:
• A qualidade das informações do SI;
• As características da interface do usuário do SI;
15
• Apoio oferecido pelos funcionários da área de TI, fornecedores ou
manuais;
• A eficácia do sistema de informação para a organização;
• O envolvimento do usuário no planejamento, desenvolvimento e
implementação do SI;
• O envolvimento da gestão no planejamento, desenvolvimento e
implementação do SI;
• As atitudes do usuário em relação ao SI.
Em um estudo similar, Adam Mahmod ET AL (MAHMOOD, BURN, et al.,
2000) demonstraram que a satisfação do usuário de TI é fortemente influenciada por
três componentes básicos: os benefícios percebidos, a experiência do usuário e o
suporte oferecido pela organização. O modelo proposto pelo autor também identifica
subcomponentes associados a esses três componentes principais conforme mostra
a Figura 1.
Experiência do
Usuário
usuário
Benefícios percebidos
Facilidade de Uso
Satisfação do
Usuário Final de
TIC
Prática do usuário
Expectativas do
Habilidades do
usuário
Percepção de
Envolvimento do
Utilidade
usuário
Suporte Organizacional
Percepção das
Atitudes do usuário
relativas ao SI
atitudes da
Apoio institucional
gerência superior
Figura 1 – Modelo de fatores que afetam a satisfação do usuário final de TIC
(MAHMOOD, BURN, et al., 2000)
Andamson e Shine (ADAMSON e SHINE, 2003) propõem um modelo de
satisfação do usuário final de TI baseando em ambientes de obrigatoriedade do uso
dos sistemas de informação. O modelo proposto é composto por três dimensões:
16
A dimensão de atitude avalia atitudes para a formação relativas à nova
tecnologia e inclui os seguintes componentes: Normas subjetivas,
eficácia do uso do computador e a qualidade do sistema;
A dimensão de percepção avalia as percepções do usuário final
relativas à utilidade e a facilidade de uso do sistema;
A dimensão comportamental avalia a satisfação do usuário com o
sistema recém-implementado assumindo que a satisfação resulta em
uma maior utilização.
Atitudes para formação relativa ao
sistema de informação:
Normas subjetivas
Eficácia no uso do computador
Qualidade do Sistema
Percepção do Usuário do sistema
de informação :
Facilidade de uso
Utilidade do sistema
Satisfação do
Usuário Final
Figura 2 – Modelo de satisfação do usuário final (ADAMSON e SHINE, 2003)
Wixom e Todd (WIXOM e TODD, 2005) sugerem um modelo no qual a
construção da satisfação do usuário depende da qualidade do sistema e da
qualidade da informação. Para os autores, a qualidade do sistema está relacionada
à percepção das seguintes características:
Confiabilidade do sistema
Flexibilidade com que o sistema se adapta às demandas de mudança
do usuário
Integração do sistema com outras fontes de informação
Acessibilidade da informação, ou seja, a facilidade com que a
informação pode ser acessada ou extraída do sistema
Tempestividade com que o sistema oferece as informações ou executa
as ações
Em relação à qualidade da informação, os autores estabelecem que ela está
relacionada à percepção das seguintes características:
17
Integralidade ou grau com que o sistema oferece todas as informações
necessárias
Precisão da informação correspondente à percepção de informação
correta
Formatação ou apresentação adequada da informação
Atualização ou o grau com que o usuário percebe que a informação
está atualizada.
Integralidade
Precisão
Qualidade da
Satisfação com
Informação
a Informação
Utilidade
Formatação
Atualização
Atitude
Confiabilidade
Flexibilidade
Integração
Acessibilidade
Tempestividade
Qualidade do
Satisfação com
Facilidade de
Sistema
o Sistema
Uso
Intenção
18
3
3.1
A PESQUISA DE SATISFAÇÃO DO USUÁRIO DO CENIN
QUESTIONÁRIO DA PESQUISA
Um dos desafios na elaboração do questionário foi equacionar a
quantidade de questões de forma a obter a maior quantidade de informações
possíveis e, ao mesmo tempo, fazer com que essas questões pudessem ser
respondidas de forma rápida e simples. Chegou-se a um total de 31 questões sendo
30 questões objetivas e uma questão subjetiva opcional para sugestões de
melhorias para o CENIN.
As 30 questões objetivas tratavam dos seguintes aspectos: 1 questão
para avaliação geral do CENIN; 23 questões para avaliação de indicadores
específicos que influenciam a avaliação geral do CENIN; 1 questão sobre a
importância da informática no desempenho das atividades do usuário; e 5 questões
demográficas.
A questão para avaliação geral do CENIN foi elaborada sobre uma escala
medição de 11 pontos (de 0 a 10). No ponto extremo 0 (zero) foi colocado o rótulo
muito insatisfeito e na extremidade oposta 10 (dez), o rótulo muito satisfeito
conforme mostra a Figura 3. A maior granularidade dessa escala de medição
permite análises estatísticas mais detalhadas (DARBYSHIRE e HEATH, 2004). Além
disso, a média final dos resultados dessa questão determinará o Índice de
Satisfação do Usuário estabelecido no Planejamento Estratégico do CENIN (CENIN,
2010).
Muito Insatisfeito
0
1
2
3
4
5
6
7
8
9
10
O
O
O
O
O
O
O
O
O
O
O
Muito Satisfeito
Figura 3 – Questão para Avaliação do Nível Geral de Satisfação com o CENIN
As 23 questões para avaliação dos indicadores específicos tinham como
objetivo avaliar os fatores determinantes da qualidade geral do CENIN. Nesses
indicadores, procurou-se avaliar os principais produtos e serviços oferecidos pelo
19
CENIN além de características importantes na prestação de serviços como
agilidade, cordialidade, comunicação e disponibilidade. Nos casos em que o
indicador definido correspondia a um produto ou serviço oferecido pelo CENIN, o
indicador buscou uma avaliação geral desse produto ou serviço. Não foi escopo da
pesquisa a realização de avaliações detalhadas dos produtos e serviços, até para
evitar um questionário muito extenso que pudesse acabar desestimulando o
pesquisado a respondê-lo. No entanto, os resultados desses indicadores poderão
subsidiar decisões futuras para avaliações detalhadas de determinados produtos e
serviços.
Os indicadores específicos foram agrupados em 6 grandes grupos: (1)
Atendimento e Suporte; (2) Equipamentos; (3) Internet e Correios; (4) Portais da
Câmara dos Deputados; (5) Sistema Desenvolvido pelo CENIN; e (6) Prestação de
Serviços do CENIN. A Figura 4 exibe a lista dos indicadores definidos para cada
grupo.
1) Atendimento e Suporte
1.1) Central de Atendimento (ramal 6-3636)
1.2) Suporte Presencial (técnicos que vão até o seu local de trabalho)
1.3) Tempo para resolução dos problemas
1.4) Resolução de problemas
2) Equipamentos
2.1) Sua estação de trabalho (microcomputador).
2.2) Outros equipamentos (impressora, multifuncional, scanner, etc.)
3) Internet e Correio
3.1) Acesso à INTERNET via REDE LOCAL (Redecamara)
3.2) Acesso à INTERNET via REDE SEM FIO (Wi-Fi)
3.3) Correio Eletrônico da Câmara dos Deputados (E-MAIL)
4) Portais CD
4.1) Institucional (www.camara.gov.br)
4.2) Corporativo (intranet.camara.gov.br)
4.3) Extranet (extranet.camara.gov.br)
5) Sistema Desenvolvido pelo CENIN
S1) Sigla do Sistema mais Importante para o Usuário
5.1) Seu funcionamento geral
5.2) Correção de problemas (suporte)
5.3) Melhorias ou atualizações (novas versões)
S2) Sigla do Segundo Sistema mais Importante para o Usuário
5.1) Seu funcionamento geral
5.2) Correção de problemas (suporte)
5.3) Melhorias ou atualizações (novas versões)
6) Prestação de Serviços
6.1) Cortesia no atendimento
6.2) Agilidade no atendimento
6.3) Clareza na comunicação
6.4) Horário de atendimento
6.5) Cumprimento dos prazos combinados
Figura 4 – Indicadores Específicos
20
No caso do grupo 5 (Sistema Desenvolvido pelo CENIN), optou-se pela
avaliação de até dois sistemas. Assim o usuário teve condições de avaliar os dois
sistemas mais importantes para o desempenho de suas atividades. Para cada
sistema escolhido, havia 3 indicadores a serem avaliados: 5.1) Seu funcionamento
geral; 5.2) Correção de problemas; e 5.3) Melhorias ou atualizações.
Para a avaliação dos indicadores específicos foi adotada uma escala de 4
pontos sendo 3 pontos para avaliação conceitual com os rótulos Bom, Regular e
Ruim e 1 ponto para abstenção com o rótulo Não Uso/Não Sei conforme Figura 5.
<Nome do Indicador Específico>
Bom
Regular
Ruim
Não Uso / Não Sei
O
O
O
O
Figura 5 – Questão para Avaliação de Indicador Específico
Na questão sobre a avaliação da importância da informática para o
desempenho das atividades do usuário foi adotada uma escala de medição de 4
pontos
com
os
rótulos
Indispensável,
Importante,
Pouco
Importante
e
Desnecessária.
Por fim, as 5 questões demográficas buscavam informações sobre o perfil
do pesquisado como:
gênero (masculino ou feminino); tempo de trabalho na
Câmara dos Deputados; cargo exercido; função exercida; e local de trabalho. No
caso do local de trabalho, as respostas contemplavam os locais até o nível de
departamento.
3.2
COLETA DE DADOS
A metodologia utilizada consistiu na aplicação de uma pesquisa
quantitativa realizada através de questionário eletrônico publicado no Portal
Corporativo da Câmara dos Deputados (intranet). Para a elaboração e aplicação da
pesquisa foi utilizado o software Enquete desenvolvido pelo próprio CENIN. A
pesquisa ficou disponível para respostas entre os dias 14 e 27 de outubro de 2011.
21
Para evitar os riscos de baixa adesão, foi estabelecido um plano de
divulgação que consistia na inserção de papel de parede informativo na área de
trabalho dos microcomputadores da rede local, notas na revista eletrônica da Casa e
no Boletim do CENIN, banner na página principal do Portal Corporativo (intranet), e
emails para os diretores dos departamentos e usuários em geral. Essa última
estratégia mostrou-se a mais eficiente. Após o envio dos emails, o monitoramento da
pesquisa constatou um aumento considerável das respostas.
3.3
RESULTADOS
3.3.1 Dados da População
A pesquisa de satisfação de usuários do CENIN pôde ser respondida por
todos os usuários cadastrados na rede da Câmara dos Deputados (RedeCamara),
ou seja, todos os usuários que possuíam uma conta de acesso tiveram condições de
responder ao formulário da pesquisa. Portanto, a população de referência para a
análise da amostra corresponde aos usuários da RedeCamara. A população
estimada para a época de realização da pesquisa foi de 18.588 usuários ativos.
Em um levantamento inicial, verificou-se que havia 27.136 usuários
cadastrados na RedeCamara. No entanto, após uma análise mais detalhada,
verificou-se que havia uma grande quantidade de usuários cadastrados que não
possuíam mais vínculo com a Casa.
Para realizar os ajustes na população, foram utilizados os dados
publicados no Portal da Transparência da Câmara dos Deputados (CÂMARA DOS
DEPUTADOS, 2011). Segundo esses dados, a Casa possuía em 31/08/2011 um
quadro funcional de 15.580 contratados diretos sendo 3.588 servidores efetivos (218
consultores, 1.620 analistas legislativos e 1758 técnicos legislativos), 1.218 cargos
de natureza especial (CNE) e 10.766 secretários parlamentares.
22
A Câmara também conta com um quadro de pessoal contratado
indiretamente composto de terceirizados, estagiários e menores aprendizes (próadolescentes). Como não havia informações no Portal para esses contratos
indiretos, os dados considerados na população foram os existentes no cadastro da
RedeCamara: 1.847 terceirizados, 249 estagiários e 399 pró-adolescentes.
Tabela 1 – População de Usuários do CENIN
Cargo
População
(em 31/08/2011)
Deputado
513
Consultor
218
Analista Legislativo
1.620
Técnico Legislativo
1.758
CNE
Secretário Parlamentar
Terceirizado
Outro Cargo (estagiário e pró-adolescente)
Total geral
1.218
10.766
1.847
648
18.588
Fonte: Portal da Transparência da Câmara dos Deputados e
dados do Cadastro da RedeCamara
3.3.2 Dados da Amostra
Encerrada a pesquisa no dia 27 de outubro de 2011, após 14 dias úteis
de coleta, a amostra totalizou 759 questionários respondidos. Definindo-se um grau
de confiança de 95% para a pesquisa, a margem de erro da amostra é de 3,6%.
Esse erro amostral foi calculado com base na estimativa da proporção populacional
(TRIOLA, 2005) sem a realização de ajustes para população finita e considerando a
proporção populacional desconhecida, ou seja, a não realização desses ajustes
resulta no maior erro amostral possível. Estudos mais detalhados do perfil
demográfico dos pesquisados poderiam reduzir substancialmente o valor do erro
amostral, no entanto, isso não se faz necessário aqui, pois, o erro amostral de 3.6%
é bastante razoável para o estudo.
23
Total de Questionários Respondidos
759
Grau de Confiança da Pesquisa
95%
Margem de Erro
3,6%
Figura 6 – Quadro Resumo da Amostra
Com base nas respostas à questão sobre o cargo ocupado, verifica-se
que houve uma participação excelente dos servidores efetivos na pesquisa –
16,97% dos consultores, 17,41% dos analistas legislativos e 11,83% dos técnicos
legislativos participaram da pesquisa. Portanto, dos 3.588 servidores efetivos, 527
participaram da pesquisa, ou seja, 14,7% dos servidores efetivos participaram da
pesquisa. Também participaram da pesquisa 5,34% dos CNEs, 0,96% dos
secretários parlamentares, 3,25% dos terceirizados e 0,62% dos outros cargos
(estagiários e pró-adolescentes). No caso de deputados, não houve nenhuma
participação conforme mostra a Tabela 2.
Tabela 2 – Freqüência amostral por cargo
Cargo
Deputado
Consultor
Frequência
Amostral
%
Amostral
%
da População
0
0,00%
0,00%
37
4,87%
16,97%
Analista Legislativo
282
37,15%
17,41%
Técnico Legislativo
208
27,40%
11,83%
65
8,56%
5,34%
CNE
Secretário Parlamentar
103
13,57%
0,96%
Terceirizado
60
7,91%
3,25%
Outro Cargo
4
0,53%
0,62%
759
100,00%
4,08%
Total geral
As amostras para consultores, analistas legislativos, técnicos legislativos
e CNEs podem ser consideradas bastante significativas pois os seus percentuais da
população são superiores a 5%. No caso das amostras referentes a secretários
parlamentares e terceirizados, elas também podem ser consideradas significativas
pelo fato de suas frenquências amostrais serem suficientemente grandes1. No caso
1
Uma amostra pode ser considerada suficientemente grande quando possui 30 ou mais elementos,
pois, pelo Teorema Central do Limite, as médias de amostras grandes tendem para a distribuição
normal (FREUND, 2004)
24
de outros cargos, a amostra com apenas 4 ocorrências se mostrou insignificante
tanto do ponto de vista de representação populacional quanto do ponto de vista de
impacto geral sobre a amostra pois representa apenas 0,53% de toda a amostra.
Um aspecto importante a ser considerado é que a amostra não contém respostas de
deputados.
Em relação à função ocupada pelo usuário, a amostra contém 41
respostas de diretores e coordenadores, 106 respostas de chefes de serviço e
seção, 35 respostas de chefes de gabinetes, 392 respostas de usuários que
declararam ocupar outro tipo de função comissão diferente das anteriores, e 185
declararam não ocupar função. Considerando que as três primeiras opções de
repostas se tratam dos cargos de chefia, verifica-se que 182 chefes participaram da
pesquisa, ou seja, a amostra contém 23,98% de respostas correspondentes à
avaliação de servidores que ocupam cargo de chefia.
Nessa questão, não foi analisada a relação entre a amostra e suas
respectivas características populacionais. No entanto, como todas as frequências
amostrais superam 30 elementos1, as amostras para todos as funções são
significativas para o estudo.
Tabela 3 – Frequência amostral por função
exercida
Função
Diretor ou Coordenador
Frequência
%
Amostral Amostral
41
5,40%
106
13,97%
35
4,61%
Outra função
392
51,65%
Não ocupa função
185
24,37%
Total geral
759
100,00%
Chefe de Serviço Núcleo ou Seção
Chefe de Gabinete Parlamentar
As questões demográficas referentes ao tempo de trabalho na Câmara
dos Deputados e ao gênero do usuário tiveram freqüências de respostas conforme
exibido na Tabela 4 e na Tabela 5 respectivamente. Da mesma forma como foi
tratada a amostra da questão sobre a função ocupada, nas questões sobre gênero e
tempo de trabalho não foram analisadas as relações entre as amostras e suas
25
respectivas características populacionais. Mas, conforme se percebe nessas
tabelas, todas as freqüências são significativas para o estudo.
Tabela 4 – Frequência amostral por tempo de
serviço na Câmara dos Deputados
Tempo de Casa
Menos de 1 ano
Frequência
%
Amostral Amostral
70
9,22%
De 1 a 5 anos
105
13,83%
De 6 a 10 anos
137
18,05%
De 11 a 15 anos
119
15,68%
Mais de 15 anos
328
43,21%
Total geral
759
100,00%
Tabela 5 – Frequência amostral por Gênero
Gênero
Frequência
%
Amostral Amostral
Feminino
364
47,96%
Masculino
395
52,04%
Total geral
59,00
100,00%
Na pesquisa, também foi coletada a informação sobre o órgão de trabalho
do pesquisado. Nesta questão, foi disponibilizado ao pesquisado como opções de
respostas os órgãos internos da Câmara dos Deputados no nível de departamento
ou superior. Dos órgãos disponíveis como respostas, apenas a Ouvidoria não foi
representada na amostra conforme mostra a Tabela 6.
A Tabela 6 traz informações sobre a participação das chefias dos órgãos
na pesquisa. Para o cálculo da frequência amostral das chefias, foram considerados
como chefes os pesquisados que, na questão referente à função ocupada,
marcaram uma das seguintes repostas: Diretor ou Coordenador, Chefe de Serviço
Núcleo ou Seção, ou Chefe de Gabinete Parlamentar.
26
Tabela 6 – Frequência amostral por órgão comparada com a freqüência
amostral das chefias dos respectivos órgãos
Todos os Cargos
Chefias
Frequência
Amostral
% da
Amostra
Diretoria
43
5,67%
11
6,04%
25,58%
DG
20
2,64%
4
2,20%
20,00%
DILEG
4
0,53%
1
0,55%
25,00%
DIRAD
10
1,32%
3
1,65%
30,00%
Órgãos
DRH
Frequência
% da
Amostral Amostra
% dos
Cargos
9
1,19%
3
1,65%
33,33%
416
54,81%
101
55,49%
24,28%
CEDI
49
6,46%
17
9,34%
34,69%
CONLE
36
4,74%
9
4,95%
25,00%
CONOF
14
1,84%
1
0,55%
7,14%
Área Legislativa
Conselho
4
0,53%
1
0,55%
25,00%
DEAPA
10
1,32%
5
2,75%
50,00%
DECOM
53
6,98%
4
2,20%
7,55%
DETAQ
40
5,27%
7
3,85%
17,50%
Gabinete
107
14,10%
34
18,68%
31,78%
Liderança
64
8,43%
10
5,49%
15,63%
Mesa Diretora
16
2,11%
4
2,20%
25,00%
Procuradoria
4
0,53%
1
0,55%
25,00%
19
2,50%
8
4,40%
42,11%
0
0,00%
0
0,00%
0,00%
300
39,53%
70
38,46%
23,33%
CEFOR
28
3,69%
8
4,40%
28,57%
CENIN
78
10,28%
15
8,24%
19,23%
DEFIN
49
6,46%
10
5,49%
20,41%
DEMAP
20
2,64%
4
2,20%
20,00%
DEMED
10
1,32%
4
2,20%
40,00%
DEPES
23
3,03%
6
3,30%
26,09%
DEPOL
14
1,84%
3
1,65%
21,43%
DETEC
24
3,16%
4
2,20%
16,67%
SECIN
11
1,45%
2
1,10%
18,18%
SECOM
43
5,67%
14
7,69%
32,56%
Total geral
759
100,00%
182 100,00%
23,98%
SGM
Ouvidoria
Apoio
27
3.3.3 Avaliação Geral do CENIN
A média da avaliação geral do CENIN foi de 6,4 em uma escala de 0 a 10
onde 0 continha o rótulo muito insatisfeito e 10 continha o rótulo muito satisfeito.
Considerando a margem de erro da pesquisa de 3,6%, temos que a média pode
variar dentro da margem de erro entre 6,1 e 6,7.
Média
6,4
Mediana
7,0
Moda
8,0
Figura 7 – Promédios da Avaliação Geral do CENIN
A moda, a nota de maior frequência, foi 8. Dos 759 usuários que
participaram da pesquisa, 163 (21,5%) avaliaram o CENIN com nota 8. A mediana
ficou em 7, ou seja, 50% dos usuários avaliaram o CENIN com notas entre 0 e 7 e
outros 50% avaliaram entre 7 e 10. A falta de convergência entre os promédios
(média, mediana e moda) é resultado da dispersão dos dados da amostra
ocasionando uma assimetria negativa da distribuição onde a média ficou inferior à
mediana que, por sua vez, ficou inferior à moda.
163
122
85
21
26
24
0
1
2
Muito Insatisfeito
41
42
3
4
92
87
56
5
6
7
8
9
10
Muito Satisfeito
Gráfico 1 – Histograma da Avaliação Geral do CENIN
28
Essa dispersão dos dados também pode ser comprovada pelos valores
do desvio padrão em 2,51 e do coeficiente de variação em 39,3% indicando que a
avaliação geral do CENIN não foi homogenia. Com base no desvio padrão, 78% das
notas estão entre 4 e 9.
21,5%
Amostra
Tendência
16,1%
11,2%
12,1%
11,5%
7,4%
2,8%
0
3,4%
3,2%
1
2
5,4%
5,5%
3
4
5
2º Quartil
1º Quartil
0
1
2
Muito Insatisfeito
3
6
4
5
6
7
8
3º Quartil
7
9
10
4º Quartil
8
9
10
Muito Satisfeito
Gráfico 2 – Curva de Tendência e Diagrama de Quartis da Avaliação Geral do
CENIN
Desvio Padrão
2,51
Coeficiente de Variação
39,3%
AIQ (Amplitude Inter Quartis)
3
Figura 8 – Coeficientes de dispersão da Avaliação Geral
do CENIN
Na análise dos quartis, verifica-se que 25% dos pesquisados avaliaram o
CENIN com notas entre 0 e 5 (correspondentes ao 1º quartil – Q1); outros 25%,
avaliaram com notas entre 5 e 7 (2º quartil – Q2); 25%, avaliaram entre 7 e 8 (3º
quartil – Q3); e os demais 25% avaliaram entre 8 e 10 (4º quartil – Q4). Portanto, a
concentração média (Q2 e Q3), onde está 50% da frequência amostral, varia ente as
29
notas 5 e 8 que corresponde a uma amplitude inter quartis (AIQ) de 3 pontos na
escala de avaliação.
Ao se converter a escala da avaliação geral de 11 pontos (de 0 a 10) para
uma escala conceitual de 5 pontos, com os conceitos ótimo correspondendo às
notas 9 e 10; o conceito bom, correspondendo às notas 7 e 8; o conceito regular, 5 e
6; ruim, 3 e 4; e o conceito péssimo correspondente às notas de 0 a 2, obtém-se a
frequência amostral por conceito conforme mostra o Gráfico 3. Nessa análise,
verifica-se que o CENIN é avaliado como bom e ótimo por 57,05% dos usuários. Na
outra extremidade, é avaliado como ruim ou péssimo por 20,29% dos usuários. E,
por fim, é avaliado como regular por 22,66% dos usuários.
Péssimo (0-2)
9,35%
Ruim (3-4)
10,94%
Ótimo (9-10)
19,50%
Regular (5-6)
22,66%
Bom (7-8)
37,55%
Gráfico 3 – Frequência da Avaliação Geral do
CENIN agrupada por Conceitos
A avaliação geral do CENIN analisada sobe perfil do cargo ocupado
demonstra que os consultores legislativos fizeram a melhor avaliação do CENIN com
média de avaliação igual a 7,16, superior à média da avaliação geral de 6,40 e fora
da margem de erro. Apesar da avaliação dos ocupantes de outros cargos, média de
avaliação de 8,50, ser superior à avaliação média dos consultores, ela não deve ser
considerada pois a amostra de 4 respostas não é significante para os estudos.
30
Os ocupantes de Cargo de Natureza Especial (CNE) fizeram a pior
avaliação, com média de 5,46. Os demais cargos avaliaram o CENIN dentro do
intervalo da margem de erro da média geral conforme mostra Gráfico 4.
8,50
7,16
6,52
6,43
6,32
6,90
5,46
Consultor
Analista
Legislativo
Técnico
Legislativo
CNE
Secretário Terceirizado
Parlamentar
Outro
Gráfico 4 – Média da Avaliação Geral do CENIN por Cargo
Em relação à função ocupada, a média da avaliação dos 41 diretores e
coordenadores que participaram da pesquisa foi de 5,80. Essa foi a pior avaliação
do perfil da função ocupada conforme mostra o Gráfico 5. As funções de mais alto
nível fizeram a pior avaliação e foram acompanhadas de perto pelos demais
ocupantes de cargo de chefia. Os chefes de serviço, núcleo ou seção e os chefes de
gabinete parlamentar avaliaram o CENIN em 5,86 e 6,00 respectivamente. A análise
da avaliação por função ocupada demonstra que os usuários ocupantes de cargo de
chefia fazem uma avaliação do CENIN abaixo da média geral e fora da margem de
erro.
6,59
6,52
6,00
5,80
Diretor ou
Coordenador
5,86
Chefe de Serviço
Núcleo ou Seção
Chefe de
Gabinete
Parlamentar
Outra função
Não ocupa função
Gráfico 5 – Média da Avaliação Geral do CENIN por Função
31
Sob o perfil do tempo de serviço na Câmara dos Deputados, os usuários
com menos de um ano de Casa se mostraram os mais satisfeitos com o CENIN com
média de avaliação em 7,31, bem acima da média geral de 6,40. A amostra de
usuários com menos de um ano de serviço foi de 70 indivíduos demonstrando que
se trata de uma amostra significativa. Os demais perfis por tempo de serviço
apresentaram médias equivalentes dentro da margem de erro da média geral
conforme mostra o Gráfico 6. Uma análise que se pode ter com esses dados indica
que os usuários com menos conhecimento dos processos internos e com possível
experiência recente em outros órgãos avaliaram bem o CENIN. A medida que os
processos internos são melhores conhecidos, o índice de avaliação do CENIN
reduz. Ou seja, a TI na Câmara dos Deputados pode estar melhor que outros
órgãos, mas ela, provavelmente, não está atendendo adequadamente os processos
internos.
7,31
6,40
6,15
Menos de 1 ano. De 1 a 5 anos.
6,38
6,15
De 6 a 10 anos. De 11 a 15 anos. Mais de 15 anos.
Gráfico 6 – Média da Avaliação Geral do CENIN por Tempo
de Serviço na Câmara dos Deputados
Na avaliação geral analisada sob o perfil do gênero do pesquisado, a
amostra traz que tanto os pesquisados do sexo masculino quanto as do sexo
feminino avaliaram o CENIN dentro da média geral. A avaliação média dos usuários
do sexo feminino foi de 6,34 e do sexo masculino foi de 6,46 (Gráfico 7). A análise
da avaliação geral por gênero não traz informações relevantes que possam resultar
em ações especificas.
32
6,46
6,34
Feminino
Masculino
Gráfico 7 – Média da Avaliação Geral
do CENIN por Gênero
Para análise da avaliação geral pelo perfil do órgão ocupado, os órgãos
foram agrupados em três áreas: órgãos da diretoria, órgãos da área legislativa e
órgãos da área de apoio. A média geral do Cenin na área de diretoria foi de 6,95, na
área legislativa foi de 6,30 e de 6,47 para a área de apoio. Desse ponto de vista,
verifica-se que existe uma avaliação equânime do CENIN nas três áreas, onde as
médias variam dentro da margem de erro da pesquisa. Se, de certa forma, essa
avaliação demonstra que o CENIN não privilegia uma área em detrimento a outro,
por outro lado, esses dados podem indicar uma falta de norte estratégico do CENIN,
e da Casa como um todo, ao não direcionar mais esforços à área fim da
organização.
7,56
8,00
7,20 7,00
7,36 7,25
6,55
7,00 6,90 6,79
7,32 7,27 7,17
6,95
6,49 6,48 6,45
6,35 6,29 6,27
5,80 5,74 5,69 5,56
5,93
Diretoria
Área Legislativa
Gráfico 8 – Média da Avaliação Geral do CENIN por Órgão
Apoio
SECOM
DEPOL
DEFIN
DETEC
DEPES
DEMAP
CENIN
SECIN
CEFOR
DEMED
Liderança
Mesa Diretora
SGM
CEDI
Gabinete
DETAQ
DECOM
CONOF
DEAPA
Conselho
Procuradoria
CONLE
DG
DILEG
DIRAD
DRH
4,42
33
O Gráfico 8 exibe a avaliação média de cada órgão da Casa. Colocando
uma lupa sobre esses dados, podemos verificar que órgãos estratégicos ligados à
execução do processo legislativo, que é a área fim e a atribuição constitucional da
Câmara dos Deputados, esses órgãos possuem uma avaliação dentro ou abaixo da
média da avaliação geral do CENIN. Dentre eles, destacam-se a Secretaria Geral da
Mesa (SGM), com avaliação média de 5,74, o Departamento de Comissões com
6,49, o Departamento de Taquigrafia, com 6,49.
O funcionamento desses órgãos depende de sistemas de negócios
peculiares ao processo legislativo. Para esses órgãos, o CENIN deveria exercer um
papel diferenciado e estratégico e, pelos resultados encontrados, verifica-se que o
nível de atendimento é o mesmo dado aos demais órgãos da Casa. Sem
desmerecer a função desempenhada pelos órgãos, a avaliação do CENIN ser de 8,0
no Departamento Médico (DEMED) e de 6,95 no Departamento de Materiais, órgãos
cujo funcionamento dependem de sistemas que são commodities, ou seja, são
sistemas padrões disponíveis no mercado, esses exemplos demonstram, mais uma
vez, a falta de foco na área fim estratégica.
As avaliações das chefias, conforme mostra o Gráfico 9 e a comparação
entre as avaliações das chefias e as avaliações dos órgãos, conforme mostra o
Gráfico 10, demonstram um dado preocupante na avaliação do CENIN. Os chefes
dos diversos órgãos da Casa fazem uma avaliação do CENIN com média de 5,80,
bem abaixo da avaliação geral de 6,40. Os órgãos da diretoria avaliaram o CENIN
com média 6,09, os chefes da área legislativa, com média 5,84, e os chefes dos
órgãos da área de apoios avaliaram com média 5,89. Da mesma forma que a
avaliação geral dos órgãos, a avaliação das chefias demonstra que o atendimento
do CENIN às três áreas é equânime. Nessa avaliação especifica, sugere-se um
pesquisa mais detalhada dos aspectos que influenciaram as avaliações das chefias
para a adoção de estratégias que possam reverter a situação.
34
9,00
8,00
7,67
7,20 7,00
7,00
7,13 7,00
6,88
6,33 6,29
5,67
5,91 5,71
5,50
5,00
6,25
5,10 5,00
6,00 5,80
5,67 5,50
4,75
4,29
Diretoria
Área Legislativa
Apoio
Gráfico 9 – Média da Avaliação Geral do CENIN das Chefias dos Órgãos
Avaliação Geral
Avaliação da Chefia
10
9
8
7
6
5
4
3
2
1
Diretoria
Área Legislativa
Apoio
Gráfico 10 – Comparativo entre as Médias da Avaliação Geral do CENIN dos Órgãos e
as Médias das Respectivas Chefias
SECOM
DEPOL
DEFIN
DETEC
DEPES
DEMAP
CENIN
SECIN
CEFOR
DEMED
Liderança
Mesa Diretora
SGM
CEDI
Gabinete
DETAQ
DECOM
CONOF
DEAPA
Conselho
Procuradoria
CONLE
DG
DILEG
DIRAD
DRH
0
DEPOL
SECOM
SECIN
DEPES
DEFIN
DETEC
DEMAP
CEFOR
DEMED
CENIN
SGM
DECOM
Liderança
Mesa Diretora
CEDI
Gabinete
DETAQ
CONLE
Procuradoria
DEAPA
CONOF
Conselho
DG
DRH
DILEG
DIRAD
3,33
35
3.3.4 Avaliação da importância da TIC
O questionário de pesquisa trazia uma questão especifica sobre a
avaliação da importância da tecnologia de informação e comunicação (TIC) para o
desempenho das atividades do usuário. O objetivo dessa questão é trazer à luz um
indicador que traduza a percepção de importância dos funcionários da Câmara dos
Deputados sobre os equipamentos e sistemas de TIC. O resultado demonstrou que
quase a totalidade dos usuários (99,87%) considerou o uso de TIC indispensável ou
importante conforme mostra o Gráfico 11.
Essa alta importância que a TI tem para os usuários da Câmara dos
Deputados exigirá uma maior atenção nos indicadores relacionados à agilidade de
atendimento e à resolução de problemas. Dados mais adiante demonstram uma
relação direta de causalidade entre a avaliação geral do CENIN e a avaliação dos
indicadores de resolução de problemas e agilidade de atendimento.
Pouco Importante
0,13%
Importante
9,62%
Indispensável
90,25%
Gráfico 11 – Frequência da Avaliação da Importância
da TIC para o Desempenho das Atividades do Usuário
36
3.3.5 Avaliação dos indicadores específicos
O questionário de pesquisa trazia 23 questões para avaliação da
satisfação dos usuários relacionada a indicadores específicos. Esses indicadores
estavam associados a grandes serviços oferecidos pelo CENIN como a central de
atendimento ao usuário, os equipamentos fornecidos, o acesso a internet, os portais
da Câmara dos Deputados na intra/internet, os sistemas de negócio, além de avaliar
também características gerais desses serviços como agilidade, tempestividade e
cordialidade do atendimento às demandas.
Para a avaliação dos indicadores específicos, foi utilizada uma escala de
avaliação de três pontos com os rótulos Bom, Regular e Ruim e mais ponto adicional
com o rótulo Não uso / Não sei. A Figura 9 traz os indicadores avaliados e o Gráfico
12 traz os resultados apurados.
Bom
6. Atendimento e Suporte
6.1. Central de Atendimento (ramal 6-3636)
6.2. Suporte Presencial (técnicos que vão até o seu local de trabalho)
6.3. Tempo para resolução dos problemas
6.4. Resolução de problemas
7. Equipamentos
7.1. Sua estação de trabalho (microcomputador).
7.2. Outros equipamentos (impressora, multifuncional, scanner, etc.)
8. Internet e Correio
8.1. Acesso à INTERNET via REDE LOCAL (Redecamara)
8.2. Acesso à INTERNET via REDE SEM FIO (Wi-Fi)
8.3. Correio Eletrônico da Câmara dos Deputados (E-MAIL)
9. Portais CD
9.1 Institucional (www.camara.gov.br)
9.2. Corporativo (intranet.camara.gov.br)
9.3. Extranet (extranet.camara.gov.br)
10. Sigla do Sistema mais Importante para o Usuário
[______________]
11. Avalie o sistema informado na questão anterior quanto a:
11.1. Seu funcionamento geral
11.2. Correção de problemas (suporte)
11.3. Melhorias ou atualizações (novas versões)
12. Sigla do Segundo Sistema mais Importante para o Usuário
[______________]
13. Avalie o sistema informado na questão anterior quanto a:
13.1. Seu funcionamento geral
13.2. Correção de problemas (suporte)
13.3. Melhorias ou atualizações (novas versões)
14. Prestação de Serviços
14.1. Cortesia no atendimento
14.2. Agilidade no atendimento
14.3. Clareza na comunicação
14.4. Horário de atendimento
14.5. Cumprimento dos prazos combinados
Figura 9 – Avaliação dos Indicadores Específicos
Regular
Ruim
Não Uso /
Não Sei
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
37
3) Internet e Correio
2)
Equipamentos
1) Atendimento e Suporte
Bom
Regular
Ruim
1.1) Central de Atendimento (ramal 6-3636)
61,32%
1.2) Suporte Presencial (técnicos que vão até o seu local de
trabalho)
1.3) Tempo para resolução dos problemas
1.4) Resolução de problemas
2.1) Sua estação de trabalho (microcomputador).
2.2) Outros equipamentos (impressora, multifuncional,
scanner, etc.)
3.1) Acesso à INTERNET via REDE LOCAL (Redecamara)
3.2) Acesso à INTERNET via REDE SEM FIO (Wi-Fi)
3.3) Correio Eletrônico da Câmara dos Deputados (E-MAIL)
58,31%
33,11%
4) Portais CD
5) Soluções de Software
5.2) Correção de problemas (suporte)
5.3) Melhorias ou atualizações (novas versões)
6) Prestação de Serviços
6.3) Clareza na comunicação
6.4) Horário de atendimento
6.5) Cumprimento dos prazos combinados
Gráfico 12 – Frequência da Avaliação dos Indicadores
8,17%
41,64%
41,37%
12,33%
38,08%
44,28%
20,55%
37,90%
47,89%
17,82%
35,09%
30,02%
17,02%
41,41%
50,67%
28,57%
33,33%
66,94%
16,00%
28,79%
57,41%
41,06%
44,33%
43,24%
36,02%
41,74%
28,35%
17,74%
12,43%
29,76%
78,80%
17,87% 3,33%
44,27%
50,87%
19,33%
36,58%
56,72%
34,97%
8,44%
22,25%
41,88%
36,40%
4,27%
34,15%
41,20%
6.1) Cortesia no atendimento
6.2) Agilidade no atendimento
33,51%
27,02%
46,02%
4.2) Corporativo (intranet.camara.gov.br)
5.1) Seu funcionamento geral
9,03%
39,87%
4.1) Institucional (www.camara.gov.br)
4.3) Extranet (extranet.camara.gov.br)
29,65%
30,11%
39,18%
12,55%
13,17%
25,85%
38
A avaliação consolidada dos indicadores mostra que 47,10% das
avaliações foram referentes ao conceito Bom, 36,64% foram referentes ao conceito
Regular e 16,26%, ao conceito Ruim conforme mostra o Gráfico 13. Comparando
com a avaliação geral, conforme exibido no Gráfico 3, o CENIN foi avaliado como
Bom por 57,05% dos usuários, como Regular por 22,66%, e como de Ruim por
20,29% dos usuários. Portanto, verifica-se que o conceito Bom do Cenin é superior
ao conceito Bom dos serviços que ele presta. No outro extremo, o conceito Ruim do
CENIN é superior ao conceito Ruim dos seus serviços conforme mostra o Gráfico 14
abaixo. Esses dados demonstram um descolamento da imagem do CENIN em
relação à percepção dos serviços que ele presta, ou seja, o CENN é avaliado como
Bom por mais de 50% dos usuários enquanto os seus serviços são avaliados como
Bom por menos de 50% desses mesmos usuários.
Ruim;
16,26%
Bom;
47,10%
Regular;
36,64%
Gráfico 13 – Frequência Consolidada da Avaliação
dos Indicadores
60,00%
50,00%
40,00%
30,00%
20,00%
10,00%
0,00%
Bom/Ótimo
Avaliação Geral do CENIN
Regular
Ruim/Péssimo
Avaliação Consolidada dos Indicadores
Gráfico 14 – Comparativo entre a Avaliação Geral do CENIN e a
Avaliação Consolidada dos Indicadores – escala conceitual
39
Na avaliação geral do CENIN, ao agrupar as notas dadas em uma escala
conceitual (Gráfico 3), foi realizada uma conversão da escala numérica para a
escala conceitual adotando para as notas 9 e 10 o conceito Ótimo, para as notas 7 e
8, o conceito Bom, para 5 e 6, Regular, 3 e 4, Ruim, e para 0,1 e 2, o conceito
Péssimo. Fazendo agora o caminho inverso para encontrar o índice de conversão da
escala conceitual para a escala numérica, foi adotado ao conceito Bom/Ótimo um
índice que equivale à média da avaliação geral do CENIN daqueles usuários que
avaliaram com notas entre 7 e 10; o índice do conceito Regular equivale à média
das avaliações entre 5 e 6; e o índice para o conceito Ruim/Péssimo equivale à
média das notas entre 0 e 4. Os índices encontrados são mostrados na Tabela 7.
Tabela 7 - Tabela de conversão da escala de
conceito para a escala numérica
Conceito
Índice de Conversão
Bom / Ótimo
8,19
Regular
5,51
Ruim / Péssimo
2,37
Com base nesses índices de conversão, a média da avaliação
consolidada dos indicadores é de 6,26. Comparando com a avaliação geral do
CENIN (6,40), verifica-se a avaliação dos indicadores está dentro da margem de
erro da pesquisa e, portanto, ratifica a avaliação geral do CENIN.
6,4
6,26
Avaliação Geral do CENIN
Avaliação Consolidada dos Indicadores
convertida para escala numérica
Gráfico 15 – Comparativo entre a Avaliação Geral do CENIN e a Avaliação
Consolidada dos Indicadores – escala numérica
40
O índice de satisfação para cada um dos indicadores foi calculado com
base na tabela de conversão contida na Tabela 7 e os valores são mostrados em
ordem decrescente no Gráfico 16.
6.1) Cortesia no atendimento
7,52
4.1) Institucional (www.camara.gov.br)
7,17
1.1) Central de Atendimento (ramal 6-3636)
6,87
1.2) Suporte Presencial (técnicos que vão até o seu local de
trabalho)
6,81
4.2) Corporativo (intranet.camara.gov.br)
6,78
6.4) Horário de atendimento
6,61
6.3) Clareza na comunicação
6,48
3.3) Correio Eletrônico da Câmara dos Deputados (E-MAIL)
6,36
1.4) Resolução de problemas
6,35
5.1) Seu funcionamento geral
6,30
3.1) Acesso à INTERNET via REDE LOCAL (Redecamara)
6,26
2.2) Outros equipamentos (impressora, multifuncional,
scanner, etc.)
6,14
4.3) Extranet (extranet.camara.gov.br)
6,06
2.1) Sua estação de trabalho (microcomputador).
5,97
6.2) Agilidade no atendimento
5,88
5.2) Correção de problemas (suporte)
5,79
6.5) Cumprimento dos prazos combinados
5,63
1.3) Tempo para resolução dos problemas
5,55
3.2) Acesso à INTERNET via REDE SEM FIO (Wi-Fi)
5,42
5.3) Melhorias ou atualizações (novas versões)
5,38
Gráfico 16 – Índice de Satisfação dos Indicadores
O Gráfico 17, a seguir, exibe o coeficiente de correlação entre a avaliação
dos indicadores e a avaliação geral do CENIN. O coeficiente de correlação foi
calculado utilizando-se do método de regressão múltipla (LAPPON, 2005). Ele
demonstra os indicadores que possuem maior impacto sobre a avaliação geral do
41
CENIN e, portanto, demonstra o grau de relevância dos indicadores sob o ponto de
vista do usuário.
1.4 Resolução de problemas
0,587
6.2 Agilidade no atendimento
0,433
3.1 Acesso à INTERNET via REDE LOCAL (Redecamara)
0,432
6.3 Clareza na comunicação
0,386
6.5 Cumprimento dos prazos combinados
0,386
1.1 Central de Atendimento (ramal 6-3636)
0,382
1.3 Tempo para resolução dos problemas
0,304
2.1 Sua estação de trabalho (microcomputador).
0,272
6.4 Horário de atendimento
0,195
3.3 Correio Eletrônico da Câmara dos Deputados (E-MAIL)
0,144
4.2 Corporativo (intranet.camara.gov.br)
0,075
4.3 Extranet (extranet.camara.gov.br)
0,068
1.2 Suporte Presencial (técnicos que vão até o seu local de
trabalho)
0,051
3.2 Acesso à INTERNET via REDE SEM FIO (Wi-Fi)
0,021
4.1 Institucional (www.camara.gov.br)
0,015
2.2 Outros equipamentos (impressora, multifuncional,
scanner, etc.)
6.1 Cortesia no atendimento
-0,025
-0,709
5 (Os coeficientes não foram calculados para o grupo
Soluções de Software)
Gráfico 17 – Coeficiente de Correlação dos Indicadores sobre a Avaliação Geral do CENIN
42
4
CONCLUSÕES
A grande quantidade de analises que foram feitas a partir dos dados
coletados demonstra que o formulário de pesquisa foi bastante adequado ao objetivo
estabelecido. Um problema detectado no formulário está relacionado aos campos
para avaliação dos sistemas desenvolvidos pelo CENIN (questões 10 e 12
do
ANEXO B – Questionário aplicado na pesquisa). Como esses campos permitiam a
digitação de um texto livre, a variedade de informações dificultou a tabulação dos
dados. Essa variedade de informações também pode indicar que os usuários
tiveram dificuldades em entender o comando dessas questões. Para futuras
pesquisas, esses campos devem oferecer uma quantidade fixa de sistemas para a
escolha do usuário.
A versão do Planejamento Estratégico do CENIN (CENIN, 2010)
disponível até a conclusão deste trabalho estabelecia o cálculo do Índice de
Satisfação do Usuário como um percentual de usuários satisfeitos. Para 2011, por
exemplo, o planejamento estabelecia uma meta de 70% de usuários satisfeitos com
o CENIN, ou seja, a escala definida no Planejamento avaliava apenas 2 pontos:
usuários satisfeitos e usuários insatisfeitos. Esse trabalho propõe que a avaliação
geral do CENIN seja feita utilizando-se de uma escala de 11 pontos (de 0 a 10) que
permite uma análise mais detalhada dos dados. Assim, recomenda-se que ajustes
sejam feitos no Planejamento Estratégico do CENIN (CENIN, 2010) no sentido de
adequar o método de cálculo e as metas do indicador Índice de Satisfação do
Usuário à forma aqui proposta para que seja utilizada em medições futuras.
43
REFERÊNCIAS
ADAMSON, I.; SHINE, J. Perceived usefulness, ease of use, and usage of.
Extending the New Technology Acceptance Model to Measure the End User
Information Systems Satisfaction in a Mandatory Environment: A Bank's
Treasury, London, December 2003. 441-455.
CÂMARA DOS DEPUTADOS. Quadro de Pessoal e Estrutura Remuneratória da
Câmara
dos
Deputados,
31
ago.
2011.
Disponivel
em:
<http://www2.camara.gov.br/transparencia/recursos-humanos/quadroremuneratorio>. Acesso em: 2012 Janeiro 15.
CENIN. Planejamento Estratégico do CENIN 2010-2013 - Conexão com o
Futuro,
2010.
Disponivel
em:
<http://intranet.camara.gov.br/servidor/gestaoestrategica/setoriais/centro-deinformatica-cenin/material-de-apoio>. Acesso em: 15 Janeiro 2012.
DARBYSHIRE, P.; HEATH, M. Choosing Response Scale Labels and Length:
Guidance for Researchers and Clients. Australasian Journal of Market Research,
Melbourne,
12,
n.
2,
November
2004.
Disponivel
em:
<http://dro.deakin.edu.au/eserv/DU:30006485/mcdonald-choosingresponse2004.pdf>. Acesso em: 15 Janeiro 2012.
DITSA, G. E. M.; MACGREGOR, R. C. Models of User Perceptions, Expectations
and
Acceptance
of
Information
System.
Managing
Information
and
Communications in a Changing Global Environment, p. 196-197, 1995.
FREUND, J. E. Estatística Aplicada: Economia, Administração e Contabilidade, 11ª
Edição. São Paulo: Artmed, 2004.
LAPPON, J. C. Estatística usando Excel. 4ª Edição. ed. Rio de Janeiro: Elsevier,
2005.
44
MAHMOOD, M. A. et al. Variables affecting information technology end-user
satisfaction: a meta-analysis of the empirical literature. International Journal of
Human-Computer Studies, v. 52, p. 751-771, April 2000. ISSN ISSN: 1071-5819.
MONTAZEMI, A. R. Factors Affecting Information Satisfaction in the Context of the
Small Business Environment. MIS Quarterly, Junho 1988. 239-256.
MULMI,
A.
D.
Quality
Concepts.
Scribd,
2009.
Disponivel
em:
<http://pt.scribd.com/adammulmi/d/13926561-Quality-Concepts>. Acesso em: 20
Dezembro 2011.
TRIOLA, M. F. Introdução à Estatística, 9ª Edição. Rio de Janeiro: LTC, 2005.
TSE, D. K.; WILTON, P. C. Models of Consumer Satisfaction Formation: An
Extension. Journal of Marketing Research, v. 25, p. 204-212, 1988 May 1988.
WIXOM, B. H.; TODD, P. A. A Theoretical Integration of User Satisfaction and
Technology Acceptance. Information Systems Research, 2005. 85-102.
YI, Y. A critical review of customer satisfaction. Chicago : University of Michigan,
1989.
45
ANEXOS
46
ANEXO A – PLANEJAMENTO ESTRATÉGICO CENIN 2010-2013
Mapa estratégico
47
Índice de satisfação do usuário
48
ANEXO B – QUESTIONÁRIO APLICADO NA PESQUISA
49
50
51
ANEXO C – SOLUÇÕES DE SOFTWARE CITADAS NA PESQUISA
Software
SIDOC
SILEG
PORTAL – INTRANET
SIGMAS
SIGESP
SITAQ
COTAS
ITSM
WORKFLOW – CONLE
INTERNET
EMAIL
PORTAL – INTERNET
PORTAL – EXTRANET
SIGAS
SIAFI
INFOGAB
SILEG – AUTENTICADOR
LEGIN
REDECAMARA
Office
Orçamento – SIORC
SISAUDIO
REDE – Público
PORTAL – Pesquisa
CEFOR – SGT
PORTAL – SERVIDOR
Gestão Hospitalar
SICOD
AGENDA
Orçamento – FISCALIZE
Plone
Business Object
Project
DEPOL – SIVIS
CEDI – SIATE
PORTAL - Gestão de Conteúdo
AUTODESPACHO
Orçamento
SILEGDEP
SECOM – SISNEWS
THESAURUS
Orçamento – SELOR
DECOM – CCT
WINDOWS
CEAP
CEFOR - Inscrições em Cursos
SIEVEN
SICAT
CEDI – SADOC
CEDI – HDS
Frequência
124
109
90
78
64
44
39
35
32
26
25
23
20
15
14
13
12
12
11
10
10
10
9
9
8
7
7
6
5
5
5
4
4
4
4
4
4
4
3
3
3
3
3
3
3
2
2
2
2
2
Software
SIADE
REDE – WIFI
ALEPH
COHAB
DEPOL – CARTEIRA
SECOM – Telenews
Orçamento – SICOFF
Orçamento – SISEL
DECOM – CPI
Blogger
Catálogo Coletivo Biblioteca
CENIN – CE
METAFRAME
CENIN – GDT
ADOBE READER
CENIN – Homolog
Orçamento – LOA
CENIN – RCM
DEPOL – Portaria
CENIN – SENHAS
DIRAD
CENIN - Solidus eCare
SECOM – FOTOSTATION
Presença Visual
SECOM – SISREC
Procuradoria – SAP
CEDI – DCD
Liderança – TEL
CEDI - Guia de Serviços
CEDI - Biblioteca Digital
DEPOL – CARDIFIVE
WORKFLOW – SECIN
SIGA-ME
Controle de Peso
DEPOL – CFTV
Lideranla – OP
DEPOL – SISDEPOL
MESA – SIT
Orçamento – SELDOR
Remote
CEDI – BNS
SECIN – SICAPES
CEFOR – Outro
SECOM – BURLI
WORKFLOW – DIRAD
PRÓ-SAÚDE
IBM Modeler
Questão de Ordem
(Software Não Identificado)
Frequência
2
2
2
2
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
32
52
ANEXO D – AVALIAÇÃO CONSOLIDADA DAS PRINCIPAIS SOLUÇÕES DE
SOFTWARE (FREQUENCIA >= 10)
Bom
COTAS
52,83%
EMAIL
52,05%
INFOGAB
28,77%
19,18%
10,00%
26,53%
26,67%
19,23%
43,88%
12,12%
29,59%
39,39%
48,48%
85,19%
Orçamento - SIORC
30,00%
PORTAL - EXTRANET
29,09%
PORTAL - INTERNET
14,81%
63,33%
40,54%
SIDOC
39,34%
SIGAS
27,03%
25,58%
47,60%
30,30%
57,14%
23,39%
32,58%
13,04%
36,07%
33,33%
7,14%
18,32%
57,61%
27,48%
SILEG - AUTENTICADOR
32,43%
51,16%
43,84%
SILEG
12,12%
42,34%
29,35%
SIGMAS
15,33%
39,39%
23,26%
SIGESP
11,29%
40,61%
48,48%
SIAFI
12,73%
54,84%
44,06%
REDECAMARA
6,67%
58,18%
33,87%
PORTAL - INTRANET
WORKFLOW - CONLE
9,43%
52,56%
Office
SITAQ
37,74%
28,21%
ITSM
SISAUDIO
Ruim
63,33%
INTERNET
LEGIN
Regular
20,09%
24,92%
36,36%
35,71%
52,42%
46,07%
24,19%
21,35%
53
ANEXO E – ÍNDICE DE QUALIDADE DAS PRINCIPAIS SOLUÇÕES DE
SOFTWARE
Office
7,79
COTAS
6,63
REDECAMARA
6,43
INFOGAB
6,37
EMAIL
6,30
PORTAL - INTRANET
6,21
Orçamento - SIORC
6,10
PORTAL - INTERNET
6,06
SIGMAS
6,05
SIDOC
5,99
PORTAL - EXTRANET
5,89
SIGESP
5,88
WORKFLOW - CONLE
5,71
INTERNET
5,66
SIAFI
5,58
SILEG
5,46
SITAQ
5,37
SIGAS
5,33
ITSM
5,29
SILEG - AUTENTICADOR
5,26
SISAUDIO
LEGIN
4,58
4,31
54
ANEXO F – AVALIAÇÃO DETALHADA DOS PRINCIPAIS SISTEMAS
DESENVOLVIDOS PELO CENIN
SIDOC
Bom
Regular
5.1) Seu funcionamento geral
49,59%
5.2) Correção de problemas (suporte)
SILEG
5.2) Correção de problemas (suporte)
25,49%
SIGMAS
SIGESP
SITAQ
COTAS
WORKFLOW
- CONLE
SIGAS
27,45%
38,24%
57,69%
5.3) Melhorias ou atualizações (novas versões)
32,05%
5.1) Seu funcionamento geral
30,00%
59,38%
29,03%
5.3) Melhorias ou atualizações (novas versões)
6,25%
59,68%
24,14%
11,29%
53,45%
32,56%
5.2) Correção de problemas (suporte)
21,13%
40,00%
34,38%
5.2) Correção de problemas (suporte)
22,41%
51,16%
26,19%
16,28%
54,76%
10,26%
19,05%
51,28%
5.1) Seu funcionamento geral
38,46%
58,97%
5.2) Correção de problemas (suporte)
35,90%
51,52%
5.3) Melhorias ou atualizações (novas versões)
5.2) Correção de problemas (suporte)
27,59%
51,72%
26,67%
20,69%
35,71%
66,67%
6,67%
46,67%
23,08%
33,33%
38,46%
5.1) Seu funcionamento geral
38,46%
72,73%
5.2) Correção de problemas (suporte)
9,09%
60,00%
5.3) Melhorias ou atualizações (novas versões)
10,00%
55,56%
5.1) Seu funcionamento geral
18,18%
5.1) Seu funcionamento geral
16,67%
33,33%
25,00%
30,00%
5.3) Melhorias ou atualizações (novas versões)
25,00%
30,00%
40,00%
36,36%
45,45%
50,00%
10,00%
33,33%
30,00%
9,09%
18,18%
30,00%
11,11%
50,00%
5.2) Correção de problemas (suporte)
9,38%
39,29%
20,00%
5.3) Melhorias ou atualizações (novas versões)
14,71%
46,88%
25,00%
5.2) Correção de problemas (suporte)
9,09%
38,24%
43,75%
5.3) Melhorias ou atualizações (novas versões)
5,13%
39,39%
47,06%
5.1) Seu funcionamento geral
10,26%
36,62%
30,00%
5.1) Seu funcionamento geral
LEGIN
47,06%
42,25%
5.1) Seu funcionamento geral
SILEG AUTENTICAD
INFOGAB
OR
10,09%
42,16%
5.1) Seu funcionamento geral
5.2) Correção de problemas (suporte)
29,52%
53,21%
19,61%
5.2) Correção de problemas (suporte)
5.3) Melhorias ou atualizações (novas versões)
20,00%
45,71%
36,70%
5.3) Melhorias ou atualizações (novas versões)
7,32%
38,10%
24,76%
5.1) Seu funcionamento geral
5.3) Melhorias ou atualizações (novas versões)
43,09%
41,90%
5.3) Melhorias ou atualizações (novas versões)
Orçamento SIORC
SISAUDIO
Ruim
60,00%
36,36%
54,55%
5.1) Seu funcionamento geral
30,00%
5.2) Correção de problemas (suporte)
30,00%
60,00%
10,00%
5.3) Melhorias ou atualizações (novas versões)
30,00%
60,00%
10,00%
5.1) Seu funcionamento geral
20,00%
5.2) Correção de problemas (suporte)0,00%
5.3) Melhorias ou atualizações (novas versões)0,00%
70,00%
80,00%
55,56%
33,33%
0,00%
44,44%
66,67%