Estudo Piloto sobre a Satisfação dos Utentes da Justiça – Campus de Justiça – L Liissbbooaa,, D Deezzeem mbbrroo ddee 22001133 A Abbrriill ddee 22001100 “Uma jornada de mil milhas começa com um simples passo.” Lao Tse 2 Índice 1. Introdução e algumas considerações metodológicas ............................................................................ 4 2. Modelo de medida da satisfação dos utentes da Justiça (tribunais) e respetivos indicadores ......... 6 2.1. Dimensão Aspetos Gerais dos Tribunais .................................................................................... 7 2.2. Dimensão Acesso à Informação sobre os Tribunais ................................................................. 8 2.3. Dimensão Instalações dos Tribunais ............................................................................................ 9 2.4. Dimensão Funcionamentos dos Tribunais................................................................................11 2.5. Dimensão Juiz Responsável pelo Processo ...............................................................................12 2.6. Dimensão Recursos à Disposição do Tribunal .........................................................................14 2.7. Dimensão Lealdade.......................................................................................................................15 3. Modelo estrutural da satisfação dos utentes da justiça (tribunais) e respetivas dimensões ...........16 3.1. Resumo dos resultados para as dimensões ................................................................................17 3.2. Modelos estruturais .......................................................................................................................19 3.2.1. Modelo estrutural das perceções dos utentes face aos aspetos gerais dos tribunais ...........19 3.2.2. Modelo estrutural das perceções dos utentes relativamente à lealdade face aos tribunais .20 4. Análise de clusters ....................................................................................................................................22 4.1. Análise de clusters global .............................................................................................................22 4.2. Caracterização dos clusters globais .............................................................................................23 4.3. Análise de clusters para as partes ou representantes das partes .............................................26 4.4. Caracterização dos clusters para as partes ou representantes das partes ..............................27 5. Recomendações ........................................................................................................................................30 5.1. Mapas de recomendações ............................................................................................................30 6. Índices de prioridades .............................................................................................................................34 7. Conclusão, reflexões e considerações finais .........................................................................................36 Anexo I – Dados de caracterização da amostra........................................................................................40 Anexo II – Dados adicionais sobre as perceções dos utentes da justiça (tribunais) ...........................46 Anexo III – Instrumento de notação .........................................................................................................49 Anexo IV – Protocolo de Colaboração Relativo à Elaboração de Estudo Piloto Sobre Satisfação dos Utentes da Justiça .............................................................................................................................56 3 Apresentação dos resultados dos inquéritos de satisfação 1. Introdução e algumas considerações metodológicas De modo a dar cumprimento ao previsto no objetivo 15 do Quadro de Avaliação e Responsabilização (QUAR) da Direção-Geral da Política de Justiça (objetivo: garantir a satisfação dos utentes da Justiça; indicador: desvio face ao prazo de elaboração de estudo piloto sobre satisfação dos utentes da Justiça (em semanas)), e ao abrigo do protocolo de colaboração relativo à elaboração de estudo piloto sobre satisfação dos utentes da Justiça (Anexo III), celebrado entre esta direção-geral e o Instituto Superior de Ciências Sociais e Políticas da Universidade de Lisboa, foi aplicado, por meio de entrevistas pessoais assistidas por computador (metodologia CAPI1), entre os dias 30 de setembro e 31 de outubro de 2013, um inquérito denominados Barómetro da Qualidade dos Tribunais destinado à aferição da satisfação dos utentes da Justiça. O questionário aplicado consiste numa adaptação, para o contexto português, da proposta constante no documento Handbook for Conducting Satisfaction Surveys Aimed at Court Users in Council Of Europe's Member States, elaborado pela CEPEJ-GT-QUAL com base no trabalho de Jean-Paul Jean e de Hélène Jorry e adotado pela Comissão Europeia para a Eficiência da Justiça (CEPEJ) na sua 15ª reunião plenária a 9 e 10 de Setembro de 2010 em Estrasburgo. Nas 24 perguntas em que foram utilizadas escalas, os valores de resposta oscilaram entre 1 e 10, tendo na análise subsequente sido adotada a prática comum de divisão da escala em quatro grupos distintos: 1 a 3 pontos – participantes muito insatisfeitos; mais de 3 a 5 pontos – participantes insatisfeitos; mais de 5 a 8 pontos – participantes satisfeitos; mais de 8 a 10 pontos – participantes muito satisfeitos. Deve ainda ser frisado que nenhuma questão foi indicada como de “resposta obrigatória”, pelo que a possibilidade de “não resposta” esteve presente ao longo de todas as questões do inquérito de satisfação. Este questionário versou, fundamentalmente, a parte do sistema judicial relativa aos tribunais, pela sua relevância socioeconómica, reconhecida quer a nível nacional quer a 1 Computer assisted personal interviews. 4 nível internacional. A aplicação do inquérito foi geograficamente circunscrita ao Campus de Justiça, em Lisboa. Os transeuntes do recinto do Campus de Justiça, entre os dias 30 de setembro e 31 de outubro de 2013, profissionais da Justiça ou utentes do sistema judicial, independentemente do motivo da sua deslocação ao Campus, constituíram o público-alvo do estudo. Para além de um conjunto de 10 questões de caracterização, foram recolhidas as perceções dos participantes no estudo relativamente a 24 indicadores que foram posteriormente agrupados num conjunto de 7 dimensões relacionadas com o sistema judicial: aspetos gerais dos tribunais2; acesso à informação sobre os tribunais3; instalações dos tribunais4; funcionamentos dos tribunais5; juiz responsável pelo processo6; recursos à disposição7; e lealdade8. É importante referir que, apesar de em cada uma das questões colocadas aos utentes não ter sido explicitado o tribunal a que essa mesma questão se referia, tratando-se ao invés de questões formuladas em termos abstratos e genéricos, poderá suceder que, considerado o âmbito geograficamente circunscrito da aplicação do inquérito, algumas respostas reflitam, em certa medida, a realidade dos tribunais sitos no Campus de Justiça. Não obstante, é igualmente importante ter presente que não se tratou de um estudo do contexto do Campus de Justiça, pelo que se deve considerar que as respostas às questões formuladas aos utentes do Campus espelhem as suas perceções não só relativamente aos tribunais, em geral, mas também relativamente ao sistema judicial como um todo A dimensão aspetos gerais dos tribunais procura integrar as perceções que os inquiridos têm acerca do funcionamento geral dos tribunais, da celeridade de resolução dos litígios, dos custos de acesso e da confiança no sistema de Justiça. 3 A dimensão acesso à informação sobre os tribunais, procura integrar as perceções que os inquiridos têm acerca da informação disponibilizada no âmbito das suas interações com os tribunais. 4 A dimensão instalações dos tribunais integra a perceção dos participantes no estudo acerca de fatores como acesso, sinalização, condições de espera e equipamentos disponíveis nos tribunais. 5 A dimensão funcionamento dos tribunais integra a perceção dos participantes no estudo acerca de fatores como a pontualidade das sessões ou a competência e o atendimento prestado pelos técnicos em tribunal. 6 A dimensão juiz responsável pelo processo integra a perceção dos participantes no estudo acerca de fatores como a atitude e a cortesia demonstradas, a clareza da linguagem utilizada, a imparcialidade ou a rapidez da decisão. 7 Esta dimensão é constituída por um único indicador que versa a adequabilidade dos recursos à disposição do tribunal. 8 Esta dimensão pode ser entendida enquanto intenção de voltar a utilizar o serviço e de o recomendar a terceiros. 2 5 Trata-se, pois, de um exercício que permitirá melhorar o conhecimento sobre a forma como os cidadãos percecionam o sistema judicial e que, em última análise, permitirá melhorar o desempenho futuro do mesmo. O presente relatório analisa, sintetiza e apresenta os principais resultados obtidos a partir dos dados de 1.113 inquéritos válidos recolhidos. Considerando a dimensão populacional como infinita e um nível de significância igual a 5% (o que corresponde a um intervalo de confiança a 95%), a fórmula de cálculo da precisão absoluta (correspondente à diferença máxima entre os valores das proporções amostrais apresentados e os verdadeiros valores dessas proporções na população) permite determinar uma precisão absoluta global de 2,936%. 2. Modelo de medida da satisfação dos utentes da Justiça (tribunais) e respetivos indicadores A principal função do modelo de medida (figura 1) consiste na determinação da forma como cada indicador (ou seja, cada questão colocada diretamente aos participantes no estudo através do questionário) contribui para a avaliação de uma determinada dimensão (aspetos gerais dos tribunais; acesso à informação sobre os tribunais; instalações dos tribunais; funcionamentos dos tribunais; juiz responsável pelo processo; recursos à disposição; e lealdade). Figura 1 – Função do modelo de medida Dimensão Quais os impactos dos indicadores (questões directas) na respetiva dimensão? 6 2.1. Dimensão Aspetos Gerais dos Tribunais As questões relativas aos aspetos gerais dos tribunais foram colocadas a todos os inquiridos, independentemente de estes serem parte ou representantes de uma parte num processo em tribunal. Tendo em conta as perceções dos respondentes ao questionário face aos aspetos gerais dos tribunais, é possível retirar as seguintes conclusões (figura 2): O valor médio da satisfação dos participantes no estudo com os aspetos gerais dos tribunais situou-se nos 4,6 pontos em 10 possíveis, valor que corresponde ao nível de “insatisfação com os aspetos gerais dos tribunais”. Tendo em conta o funcionamento geral, a média das perceções situou-se nos 4,9 pontos, correspondendo ao nível de “insatisfação”. Este valor encontra-se 0,3 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 31,8%. Tendo em conta a celeridade da resolução dos litígios, a média das perceções situou-se nos 3,6 pontos (valor mais baixo verificado para esta dimensão), correspondendo ao nível de “insatisfação”. Este valor encontrase 1,0 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 27,3%. Tendo em conta o custo de acesso (sem considerar os honorários de advogados), a média das perceções situou-se nos 3,8 pontos, correspondendo ao nível de “insatisfação”. Este valor encontra-se 0,8 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 2,4% (a mais reduzida tendo em conta os indicadores constituintes da dimensão). Tendo em conta a confiança no sistema, a média das perceções situou-se nos 5,0 pontos (valor mais alto verificado para esta dimensão), correspondendo ao nível de “satisfação”. Este valor encontra-se 0,4 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 38,5% (a mais elevada tendo em conta os indicadores constituintes da dimensão). 7 Figura 2 – Dimensão aspetos gerais dos tribunais e respetivos indicadores constituintes Aspetos Gerais dos Tribunais 4,6 1 10 Muito insatisfeito Muito satisfeito Importância na construção da dimensão Funcionamento geral 31,8% 4,9 Celeridade da resolução dos litígios 3,6 27,3% Custo de acesso (sem considerar os honorários de advogados) 3,8 2,4% Confiança no sistema 1 10 Muito insatisfeito 2.2. 38,5% 5,0 Dimensão Acesso à Informação sobre os Tribunais Muito satisfeito 12,2% 9,3% 15,9% As questões relativas à informação sobre os tribunais foram colocadas apenas aos inquiridos que afirmaram ser parte ou representantes de uma parte num processo em 13,2% tribunal. A dimensão acesso à informação sobre os tribunais, procura integrar as perceções 13,8% que os inquiridos têm acerca da informação disponibilizada no âmbito das suas interações com os tribunais. Tendo em conta as perceções face ao acesso à informação sobre os tribunais, é possível retirar as seguintes conclusões (figura 3): O valor médio da satisfação dos participantes no estudo com o acesso à informação sobre os tribunais situou-se nos 7,7 pontos em 10 possíveis, valor que corresponde ao nível de “satisfação com o acesso à informação sobre os tribunais”. Tendo em conta a facilidade de encontrar informação sobre o tribunal, a média das perceções situou-se nos 8,3 pontos (valor mais alto verificado para esta dimensão), correspondendo ao nível “muito satisfeito”. Este valor encontra-se 0,6 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 23,5% (a mais reduzida tendo em conta os indicadores constituintes da dimensão). 8 Tendo em conta a clareza da informação transmitida sobre os litígios, a média das perceções situou-se nos 7,6 pontos (valor mais baixo verificado para esta dimensão), correspondendo ao nível de “satisfação”. Este valor encontra-se 0,1 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 76,5% (a mais elevada tendo em conta os indicadores constituintes da dimensão). Figura 3 – Dimensão acesso à informação sobre os tribunais e respetivos indicadores constituintes Acesso à Informação sobre os Tribunais 7,7 1 10 Muito insatisfeito Muito satisfeito Importância na construção da dimensão Foi fácil encontrar informação sobre o tribunal 23,5% 8,3 A informação que lhe foi transmitida sobre o seu litígio foi clara 76,5% 7,6 1 10 Muito insatisfeito 33,1% Muito satisfeito 27,2% 2.3. Dimensão Instalações dos Tribunais 12,2% As questões relativas às instalações dos tribunais foram colocadas apenas aos inquiridos 9,3% que afirmaram ser parte ou representantes de uma parte num processo em tribunal. A 15,9% dimensão instalações dos tribunais integra a perceção dos participantes no estudo acerca de fatores como acesso, sinalização, condições de espera e equipamentos disponíveis nos 13,2% tribunais. Tendo em conta as perceções face às instalações dos tribunais, é possível retirar 13,8% as seguintes conclusões (figura 4): O valor médio da satisfação dos participantes no estudo com as instalações dos tribunais situou-se nos 7,2 pontos em 10 possíveis, valor que corresponde ao nível de “satisfação com as instalações dos tribunais”. Tendo em conta a facilidade de acesso às instalações, a média das perceções situou-se nos 8,1 pontos, correspondendo ao nível de “muito satisfeito”. 9 Este valor encontra-se 0,9 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 19,9% (a mais reduzida tendo em conta os indicadores constituintes da dimensão). Tendo em conta a sinalização interior das instalações, a média das perceções situou-se nos 8,1 pontos (valor mais alto verificado para esta dimensão), correspondendo ao nível de “muito satisfeito”. Este valor encontra-se 0,9 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 24,1%. Tendo em conta a adequação das condições de espera, a média das perceções situou-se nos 6,0 pontos (valor mais baixo verificado para esta dimensão), correspondendo ao nível de “satisfação”. Este valor encontra-se 1,2 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 33,1% (a mais elevada tendo em conta os indicadores constituintes da dimensão). Tendo em conta o equipamento das instalações, a média das perceções situou-se nos 7,0 pontos, correspondendo ao nível de “satisfação”. Este valor encontra-se 0,2 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 22,8%. Figura 4 – Dimensão instalações dos tribunais e respetivos indicadores constituintes Instalações dos Tribunais 7,2 1 10 Muito insatisfeito Muito satisfeito Importância na construção da dimensão As instalações são de fácil acesso 8,1 19,9% As instalações encontram-se bem sinalizadas no seu interior 8,1 24,1% As condições de espera são adequadas 33,1% 6,0 As instalações estão bem equipadas 22,8% 7,0 1 10 Muito insatisfeito 10 Muito satisfeito 12,2% 9,3% 15,9% 2.4. Dimensão Funcionamentos dos Tribunais As questões relativas ao funcionamento dos tribunais foram colocadas apenas aos inquiridos que afirmaram ser parte ou representantes de uma parte num processo em tribunal. A dimensão funcionamento dos tribunais integra a perceção dos participantes no estudo acerca de fatores como a pontualidade das sessões ou a competência e o atendimento prestado pelos técnicos em tribunal. Tendo em conta as perceções face ao funcionamento dos tribunais, é possível retirar as seguintes conclusões (figura 5): O valor médio da satisfação dos participantes no estudo com o funcionamento dos tribunais situou-se nos 5,9 pontos em 10 possíveis, valor que corresponde ao nível de “satisfação com o funcionamento dos tribunais”. Tendo em conta a clareza das comunicações/informações, a média das perceções situou-se nos 6,9 pontos, correspondendo ao nível de “satisfeito”. Este valor encontra-se 1,0 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 20,2%. Tendo em conta a aceitabilidade do tempo decorrido entre o pedido e a primeira sessão em que o entrevistado foi ouvido(a), a média das perceções situou-se nos 4,8 pontos, correspondendo ao nível de “insatisfação”. Este valor encontra-se 1,1 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 26,3% (a mais elevada tendo em conta os indicadores constituintes da dimensão). Tendo em conta a pontualidade das sessões, a média das perceções situouse nos 4,7 pontos (valor mais baixo verificado para esta dimensão), correspondendo ao nível de “insatisfação”. Este valor encontra-se 1,2 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 21,6%. Tendo em conta a disponibilidade e atendimento dos técnicos do tribunal, a média das perceções situou-se nos 7,0 pontos, correspondendo ao nível de “satisfação”. Este valor encontra-se 1,1 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 14,3% (a mais reduzida tendo em conta os indicadores constituintes da dimensão). 11 Tendo em conta a competência dos técnicos do tribunal, a média das perceções situou-se nos 7,1 pontos (valor mais alto verificado para esta dimensão), correspondendo ao nível de “satisfação”. Este valor encontra-se 1,2 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 17,5%. Figura 5 – Dimensão funcionamentos dos tribunais e respetivos indicadores constituintes Funcionamento dos Tribunais 5,9 1 10 Muito insatisfeito Muito satisfeito Importância na construção da dimensão As comunicações/informações são claras 20,2% 6,9 O tempo decorrido entre o pedido e a primeira sessão em que foi ouvido(a) foi aceitável 4,8 26,3% As sessões começaram à hora marcada 4,7 21,6% Disponibilidade e atendimento dos técnicos do tribunal 7,0 14,3% Competência dos técnicos do tribunal 7,1 17,5% 1 10 Muito insatisfeito Muito satisfeito 2.5. Dimensão Juiz Responsável pelo Processo 11,0% 13,7% 11,5% As questões relativas ao juiz responsável pelo processo foram colocadas apenas aos 11,5% inquiridos que afirmaram ser parte ou representantes de uma parte num processo em tribunal. A dimensão juiz responsável pelo processo integra a perceção dos participantes 9,8% no estudo acerca de fatores como a atitude e a cortesia demonstradas, a clareza da linguagem 8,0% utilizada, a imparcialidade ou a rapidez da decisão. Tendo em conta as perceções face ao juiz responsável pelo processo, é possível retirar as seguintes conclusões (figura 6): 7,1% 9,9% O valor médio da satisfação dos participantes do estudo com o juiz responsável pelo processo situou-se nos 6,8 pontos em 10 possíveis, valor que corresponde ao nível de “satisfação com o juiz responsável pelo processo”. 12 Tendo em conta a atitude e cortesia demonstradas, a média das perceções situou-se nos 6,9 pontos, correspondendo ao nível de “satisfação”. Este valor encontra-se 0,1 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 19,5% (a mais elevada tendo em conta os indicadores constituintes da dimensão). Tendo em conta a clareza da linguagem utilizada, a média das perceções situou-se nos 7,2 pontos, correspondendo ao nível de “satisfação”. Este valor encontra-se 0,4 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 16,1%. Tendo em conta a imparcialidade ao longo do processo, a média das perceções situou-se nos 7,3 pontos (valor mais alto verificado para esta dimensão), correspondendo ao nível de “satisfação”. Este valor encontra-se 0,5 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 15,6%. Tendo em conta a igualdade de oportunidades no debate da questão ao longo do processo, a média das perceções situou-se nos 7,1 pontos, correspondendo ao nível de “satisfação”. Este valor encontra-se 0,3 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 17,6%. Tendo em conta a clareza da decisão, a média das perceções situou-se nos 7,1 pontos, correspondendo ao nível de “satisfação”. Este valor encontra-se 0,3 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 13,3% (a mais reduzida tendo em conta os indicadores constituintes da dimensão). Tendo em conta a rapidez com que as decisões são proferidas, a média das perceções situou-se nos 5,3 pontos (valor mais baixo verificado para esta dimensão), correspondendo ao nível de “satisfação”. Este valor encontra-se 1,5 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 17,8%. 13 Figura 6 – Dimensão juiz responsável pelo processo e respetivos indicadores constituintes Juiz Responsável pelo Processo 6,8 1 10 Muito insatisfeito Muito satisfeito Importância na construção da dimensão Atitude e cortesia demonstradas 6,9 19,5% Clareza da linguagem utilizada 7,2 16,1% Imparcialidade ao longo do processo 7,3 15,6% Igualdade de oportunidades no debate da questão ao longo do processo 7,1 17,6% Clareza da decisão 7,1 13,3% Rapidez com que as decisões são proferidas 17,8% 5,3 1 10 Muito insatisfeito 13,7% Muito satisfeito 11,5% 11,5% 2.6. Dimensão Recursos à Disposição do Tribunal 9,8% 8,0% As questões relativas aos recursos à disposição do tribunal foram colocadas apenas aos 7,1% em inquiridos que afirmaram ser parte ou representantes de uma parte num processo tribunal. Esta dimensão é constituída por um único indicador que versa a adequabilidade 9,9% dos recursos à disposição do tribunal. Tendo em conta as perceções face aos recursos à disposição do tribunal, é possível retirar as seguintes conclusões (figura 7): O valor médio da satisfação dos participantes do estudo com os recursos à disposição do tribunal situou-se nos 5,7 pontos em 10 possíveis, valor que corresponde ao nível de “satisfação com os recursos à disposição do tribunal”. 14 Figura 7 – Dimensão recursos à disposição do tribunal (indicador único) Recursos à Disposição 5,7 1 10 Muito insatisfeito Muito satisfeito 2.7. Dimensão Lealdade As questões relativas à lealdade dos utentes da Justiça face aos tribunais foram colocadas apenas aos inquiridos que afirmaram ser parte ou representantes de uma parte num processo em tribunal. A dimensão lealdade dos utentes da Justiça face aos tribunais integra a perceção dos participantes no estudo acerca dos fatores intenção de utilização futura (em caso de necessidade) e recomendação. Tendo em conta as perceções face à lealdade, é possível retirar as seguintes conclusões (figura 8): O valor médio da lealdade dos participantes do estudo situou-se nos 7,3 pontos em 10 possíveis, valor que corresponde ao nível de “lealdade face à utilização dos tribunais”. Tendo em conta a intenção de utilização futura dos tribunais, caso tal se verifique como necessário, a média das perceções situou-se nos 7,5 pontos (valor mais alto verificado para esta dimensão), correspondendo ao nível de “concordância”. Este valor encontra-se 0,2 pontos acima da média da dimensão e a importância deste indicador na construção da mesma foi de 44,4% (a mais reduzida tendo em conta os indicadores constituintes da dimensão). Tendo em conta a eventual recomendação dos tribunais, a média das perceções situou-se nos 7,1 pontos (valor mais baixo verificado para esta dimensão), correspondendo ao nível de “concordância”. Este valor encontra-se 0,2 pontos abaixo da média da dimensão e a importância deste indicador na construção da mesma foi de 55,6% (a mais elevada tendo em conta os indicadores constituintes da dimensão). 15 Figura 8 – Dimensão lealdade e respetivos indicadores constituintes Lealdade 7,3 1 10 Muito reduzida Muito elevada Importância na construção da dimensão Se necessário, voltaria a recorrer aos tribunais 44,4% 7,5 Recomendaria a utilização dos tribunais 55,6% 7,1 1 10 Discordo totalmente 33,1% Concordo totalmente 27,2% 12,2% 3. Modelo estrutural da satisfação dos utentes da justiça (tribunais) e respetivas dimensões 9,3% A função do modelo estrutural (figura 9) de satisfação dos utentes da justiça 15,9% (na sua vertente associada aos tribunais) consiste em permitir determinar qual o impacto que cada 13,2% dos uma das dimensões consideradas no questionário apresenta na dimensão aspetos gerais tribunais. 13,8% Figura 9 – Exemplo da função do modelo estrutural Quais os impactos destas dimensões? Na satisfação dos utentes da Justiça? Dimensão 1 Dimensão 2 Aspetos Gerais Dimensão 3 . . . Dimensão n 16 3.1. Resumo dos resultados para as dimensões Tendo em conta as dimensões construídas com base nos indicadores recolhidos neste estudo realizado no Campus de Justiça (figura 10 e figura 11), é possível retirar as seguintes conclusões: O valor da média do conjunto das dimensões estudadas no inquérito aplicado no Campus de Justiça situou-se nos 6,5 pontos em 10 possíveis, que corresponde ao nível de “utentes satisfeitos”. O valor médio da satisfação com o acesso à informação sobre os tribunais situou-se nos 7,7 pontos em 10 possíveis, que corresponde ao nível de “utentes satisfeitos com o acesso à informação sobre os tribunais”. Este valor encontra-se 1,2 pontos acima da média do conjunto das dimensões. O valor médio da lealdade face aos tribunais situou-se nos 7,3 pontos em 10 possíveis, que corresponde ao nível de “utentes leais aos tribunais”. Este valor encontra-se 0,8 pontos acima da média do conjunto das dimensões. O valor médio da satisfação com as instalações dos tribunais situou-se nos 7,2 pontos em 10 possíveis, que corresponde ao nível de “utentes satisfeitos com as instalações dos tribunais”. Este valor encontra-se 0,7 pontos acima da média do conjunto das dimensões. O valor médio da satisfação com o juiz responsável pelo processo situou-se nos 6,8 pontos em 10 possíveis, que corresponde ao nível de “utentes satisfeitos com o juiz responsável pelo processo”. Este valor encontra-se 0,3 pontos acima da média do conjunto das dimensões. O valor médio da satisfação com o funcionamento dos tribunais situou-se nos 5,9 pontos em 10 possíveis, que corresponde ao nível de “utentes satisfeitos com o funcionamento dos tribunais”. Este valor encontra-se 0,6 pontos abaixo da média do conjunto das dimensões. O valor médio da satisfação com os recursos à disposição dos tribunais situou-se nos 5,7 pontos em 10 possíveis, que corresponde ao nível de “utentes satisfeitos com os recursos à disposição dos tribunais”. 17 O valor médio da satisfação com os aspetos gerais dos tribunais situou-se nos 4,6 pontos em 10 possíveis, que corresponde ao nível de “utentes insatisfeitos com os aspetos gerais dos tribunais”. Este valor encontra-se 1,9 pontos abaixo da média do conjunto das dimensões. Figura 10 – Resumo das dimensões constituintes do modelo Acesso à Informação sobre os Tribunais 7,7 Lealdade Face aos Tribunais 7,3 Instalações dos Tribunais 7,2 Juiz Responsável pelo Processo Dimensões com avaliação média entre 7 e 8 pontos 6,8 Funcionamento dos Tribunais 5,9 Recursos à Disposição dos Tribunais 5,7 Aspetos Gerais dos Tribunais Dimensões com avaliação média entre 5 e 7 pontos Dimensão com avaliação média entre 4 e 5 pontos 4,6 1 Nível muito baixo Nível muito elevado 10 Figura 11 – Desvios face à média do conjunto das dimensões Acesso à Informação sobre os Tribunais 1,3 Lealdade Face aos Tribunais 0,8 Instalações dos Tribunais Dimensões com desvio positivo face à média do conjunto das dimensões 0,7 Juiz Responsável pelo Processo 0,3 Funcionamento dos Tribunais -0,5 Recursos à Disposição dos Tribunais Dimensões com desvio negativo face à média do conjunto das dimensões -0,8 Aspetos Gerais dos Tribunais -1,9 -2 -1 0 18 1 2 3.2. Modelos estruturais 3.2.1. Modelo estrutural das perceções dos utentes face aos aspetos gerais dos tribunais Da análise dos resultados obtidos através do modelo estrutural criado para este efeito (figura 12), é possível retirar as seguintes conclusões: A dimensão que mais contribuiu para a satisfação com os aspetos gerais dos tribunais foi a dimensão recursos à disposição dos tribunais, com 51,8% do peso total, seguida pela dimensão juiz responsável pelo processo, com 28,6% e dimensão funcionamento dos tribunais, com 19,7%. A melhoria de 1 ponto na satisfação média obtida na dimensão recursos à disposição dos tribunais terá um impacto de 0,35 pontos na satisfação média global dos utentes com os aspetos gerais dos tribunais (impacto direto). A melhoria de 1 ponto na satisfação média obtida na dimensão juiz responsável pelo processo terá um impacto de 0,21 pontos na satisfação média global dos utentes com os aspetos gerais dos tribunais (impacto direto). A melhoria de 1 ponto na satisfação média obtida na dimensão funcionamento dos tribunais terá um impacto de 0,16 pontos na satisfação média global dos utentes (impacto direto). A dimensão acesso à informação sobre os tribunais não apresenta impacto estatisticamente significativo na satisfação média global dos utentes com os aspetos gerais dos tribunais. A dimensão instalações dos tribunais não apresenta impacto estatisticamente significativo na satisfação média global dos utentes com os aspetos gerais dos tribunais. O índice de bondade do ajustamento (GoF ou goodness of fit índex, índice que procura validar globalmente o modelo de equações estruturais, através de um compromisso entre o desempenho do modelo de medida e o desempenho do modelo estrutural) é de 0,44, valor considerado como bastante aceitável. 19 3.2.2. Modelo estrutural das perceções dos utentes relativamente à lealdade face aos tribunais Da análise dos resultados obtidos através do modelo estrutural criado para este efeito (figura 12), é possível retirar as seguintes conclusões: A dimensão aspetos gerais dos tribunais apresenta impacto direto sobre a perceção média global dos utentes acerca da lealdade face aos tribunais. A melhoria de 1 ponto na satisfação média com os aspetos gerais dos tribunais terá um impacto de 0,42 pontos na perceção média global dos utentes acerca da lealdade face aos tribunais. A melhoria de 1 ponto na satisfação média obtida na dimensão recursos à disposição dos tribunais terá um impacto de 0,15 pontos na perceção média global dos utentes acerca da lealdade face aos tribunais (impacto indireto). A melhoria de 1 ponto na satisfação média obtida na dimensão juiz responsável pelo processo terá um impacto de 0,09 pontos na perceção média global dos utentes acerca da lealdade face aos tribunais (impacto indireto). A melhoria de 1 ponto na satisfação média obtida na dimensão funcionamento dos tribunais terá um impacto de 0,07 pontos na perceção média global dos utentes acerca da lealdade face aos tribunais (impacto indireto). A dimensão acesso à informação sobre os tribunais não apresenta impacto estatisticamente significativo na perceção média global dos utentes acerca da lealdade face aos tribunais. A dimensão instalações dos tribunais não apresenta impacto estatisticamente significativo na perceção média global dos utentes acerca da lealdade face aos tribunais. O índice de bondade do ajustamento (GoF ou goodness of fit índex, índice que procura validar globalmente o modelo de equações estruturais, através de um compromisso entre o desempenho do modelo de medida e o desempenho do modelo estrutural) é de 0,37, valor considerado como bastante aceitável. 20 Figura 12 – Modelo estrutural das perceções dos utentes relativamente aos aspetos gerais e à lealdade face aos tribunais Acesso à Informação sobre os Tribunais Avaliação: 7,7 Funcionamento dos Tribunais Peso: 19,7% Impacto: 0,16 Avaliação: 5,9 Juiz Responsável pelo Processo Peso: 28,6% Impacto: 0,21 Aspetos Gerais dos Tribunais 4,6 Avaliação: 6,8 Recursos à Disposição dos Tribunais Peso: 100% Impacto: 0,42 Lealdade Face aos Tribunais 7,3 Peso: 51,8% Impacto: 0,35 Índice de bondade do ajustamento (GoF) para o modelo explicativo da satisfação com os aspetos gerais dos tribunais: 0,44 Avaliação: 5,7 Índice de bondade do ajustamento (GoF) para o modelo explicativo da lealdade face aos tribunais: 0,37 Instalações dos Tribunais Avaliação: 7,2 21 4. Análise de clusters A análise de clusters pode ser entendida como a criação de agrupamentos naturais de observações (neste caso, agrupamentos naturais de inquiridos em função das avaliações por estes feitas aos vários indicadores ou dimensões) e posterior análise das características intrínsecas a cada um desses grupos. Foram efetuadas duas análises de clusters distintas. A primeira envolveu os 1.113 inquiridos e procurou agrupar os utentes do Campus de Justiça em função das suas respostas às quatro questões associadas à dimensão aspetos gerais dos tribunais e em função das variáveis de caracterização género, idade, nível de instrução, atividade relacionada com o sistema judicial, última vez em que teve de recorrer a um tribunal e o motivo pelo qual o respondente teve de recorrer tribunal. A segunda envolveu apenas os inquiridos que declararam ser parte ou representantes de uma parte (372 inquiridos) e procurou agrupar este conjunto particular de respondentes em função das suas avaliações às sete dimensões empregues no estudo e em função das dez variáveis de caracterização utilizadas. 4.1. Análise de clusters global A análise de clusters global permitiu a construção de 4 clusters (4 agrupamentos naturais) de utentes do Campus de Justiça em função das avaliações por estes feitas às questões associadas à dimensão aspetos gerais dos tribunais: O cluster correspondente aos “utentes satisfeitos” é composto por 206 utentes. O cluster correspondente aos “utentes insatisfeitos com o custo de acesso” é composto por 470 utentes. O cluster correspondente aos “utentes satisfeitos com o custo de acesso” é composto por 180 utentes. O cluster correspondente aos “utentes muito insatisfeitos” é composto por 257 utentes. 22 4.2. Caracterização dos clusters globais A análise do cluster “utentes satisfeitos” (figura 13) permite concluir que: Este cluster caracteriza-se por valores médios, para os indicadores, bastante acima dos valores médios verificados globalmente. Em média, estes utentes atribuíram mais 2,0 pontos, nas avaliações, do que os utentes considerados como um todo. À exceção da questão relativa ao custo de acesso, cuja avaliação se situou nos 3,8 pontos (em linha com a avaliação global), os restantes indicadores considerados obtiveram, neste grupo, uma avaliação superior a 6 pontos (correspondente a uma situação de utentes satisfeitos). Destacam-se particularmente as questões relativas à celeridade da resolução dos litígios e ao funcionamento geral, com avaliações 3,2 e 2,5 pontos acima da média verificada a nível global, respetivamente. Este grupo está particularmente associado a uma menor incidência, estatisticamente significativa, de indivíduos cujo grau de instrução é a licenciatura (29,6% no grupo, face a 37,0% no total de inquiridos). Figura 13 – Utentes satisfeitos 7,4 Funcionamento geral 4,9 6,8 Celeridade da resolução dos litígios 3,6 Custo de acesso (sem considerar os honorários de advogados) 3,8 3,8 7,2 Confiança no sistema 5,0 1 10 Muito insatisfeito Muito satisfeito Utentes satisfeitos Média global A análise do cluster “utentes insatisfeitos com o custo de acesso” (figura 14) permite concluir que: 23 Este cluster caracteriza-se por valores médios, para os indicadores, em linha com os valores médios verificados globalmente. Em média, estes utentes atribuíram a mesma pontuação, às questões colocadas, que os utentes considerados como um todo. A questão relativa ao custo de acesso apresentou uma avaliação de 2,8 pontos, correspondente a uma situação de utentes muito insatisfeitos. Destacam-se positivamente as questões relativas à confiança no sistema e ao funcionamento geral, com avaliações 0,8 e 0,4 pontos acima da média verificada a nível global, respetivamente. Este grupo está particularmente associado a uma maior incidência, estatisticamente significativa, de indivíduos que nunca recorreram ao tribunal (41,1% no grupo, face a 33,2% no total de inquiridos). Figura 14 – Utentes insatisfeitos com o custo de acesso 5,3 Funcionamento geral 4,9 3,4 Celeridade da resolução dos litígios 3,6 Custo de acesso (sem considerar os honorários de advogados) 2,8 3,8 5,9 Confiança no sistema 5,0 1 10 Muito insatisfeito Muito satisfeito Utentes insatisfeitos com o custo de acesso Média global A análise do cluster “utentes satisfeitos com o custo de acesso” (figura 15) permite concluir que: Este cluster caracteriza-se por valores médios, para os indicadores, moderadamente acima dos valores médios verificados globalmente. Em média, estes utentes atribuíram mais 0,5 pontos, nas avaliações, do que os utentes considerados como um todo. 24 A questão relativa ao custo de acesso apresentou uma avaliação de 7,3 pontos, correspondente a uma situação de utentes satisfeitos. Destacam-se negativamente as questões relativas à confiança no sistema e à celeridade de resolução dos litígios, com avaliações 0,7 e 0,6 pontos abaixo da média verificada a nível global, respetivamente. Este grupo está particularmente associado a uma maior incidência, estatisticamente significativa, de indivíduos que recorreram pela última vez a tribunal entre há cerca de 6 meses a 1 ano (7,8% no grupo, face a 3,1% no total de inquiridos), de indivíduos cujo grau de instrução é a licenciatura (47,2% no grupo, face a 37,0% no total de inquiridos) e de indivíduos que se deslocaram ao Campus de Justiça por motivos profissionais (39,4% no grupo, face a 30,4% no total de inquiridos). Figura 15 – Utentes satisfeitos com o custo de acesso 4,6 Funcionamento geral 4,9 3,1 Celeridade da resolução dos litígios 3,6 Custo de acesso (sem considerar os honorários de advogados) 7,3 3,8 4,3 Confiança no sistema 5,0 1 10 Muito insatisfeito Muito satisfeito Utentes satisfeitos com o custo de acesso Média global A análise do cluster “utentes muito insatisfeitos” (figura 16) permite concluir que: Este cluster caracteriza-se por valores médios, para os indicadores, bastante abaixo dos valores médios verificados globalmente. Em média, estes utentes atribuíram menos 2,3 pontos, nas avaliações, do que os utentes considerados como um todo. 25 Todos os indicadores considerados obtiveram, neste grupo, uma avaliação inferior a 3 pontos (correspondente a uma situação de utentes muito insatisfeitos). Destacam-se particularmente as questões relativas à confiança no sistema e ao funcionamento geral, com avaliações 2,7 e 2,5 pontos abaixo da média verificada a nível global, respetivamente. Este grupo está particularmente associado a uma maior incidência, estatisticamente significativa, de indivíduos que não apresentam atividade relacionada com o sistema judicial (77,8% no grupo, face a 64,8% no total de inquiridos) e de indivíduos cujo motivo pelo qual tiveram de recorrer a tribunal foi serem parte em processo (23,0% no grupo, face a 16,0% no total de inquiridos) Figura 16 – Utentes satisfeitos com o custo de acesso 2,4 Funcionamento geral 4,9 Celeridade da resolução dos litígios 1,6 Custo de acesso (sem considerar os honorários de advogados) 1,6 3,6 3,8 2,3 Confiança no sistema 5,0 1 10 Muito insatisfeito Muito satisfeito Utentes muito insatisfeitos Média global 4.3. Análise de clusters para as partes ou representantes das partes A análise de clusters para as partes ou representantes das partes permitiu a construção de 3 clusters (3 agrupamentos naturais) de partes e representantes de partes envolvidas em processos no Campus de Justiça, em função das avaliações por estes feitas às sete dimensões empregues no estudo: 26 O cluster correspondente às “partes muito satisfeitas” é composto por 89 inquiridos. O cluster correspondente às “partes satisfeitas” é composto por 169 inquiridos. O cluster correspondente às “partes insatisfeitas” é composto por 114 inquiridos. 4.4. Caracterização dos clusters para as partes ou representantes das partes A análise do cluster “partes muito satisfeitas” (figura 17) permite concluir que: Este cluster caracteriza-se por valores médios, para as dimensões, bastante acima dos valores médios verificados globalmente. Em média, estas partes atribuíram mais 1,9 pontos, nas avaliações, do que as partes considerados como um todo. À exceção da dimensão relativa aos aspetos gerais dos tribunais, cuja avaliação se situou nos 6,1 pontos (correspondente a uma situação de partes satisfeitas), as restantes dimensões consideradas obtiveram, neste grupo, uma avaliação superior a 8 pontos (correspondente a uma situação de partes muito satisfeitas). Destacam-se particularmente as dimensões relativas aos recursos à disposição dos tribunais e do funcionamento dos tribunais, com avaliações 2,4 e 2,2 pontos acima da média verificada a nível global, respetivamente. Este grupo está particularmente associado a uma maior incidência, estatisticamente significativa, de indivíduos cujo grau de instrução é igual ou inferior a 9 anos de escolaridade (34,8% no grupo, face a 19,6% no total de inquiridos), de indivíduos que não recorreram previamente à resolução alternativa de litígios (78,7% no grupo, face a 62,6% no total de inquiridos) e de indivíduos que cujo sentido da decisão judicial foi a seu favor (59,6% no grupo, face a 46,2% no total de inquiridos). 27 Figura 17 – Partes muito satisfeitas 9,4 Acesso à Informação sobre os Tribunais 7,8 8,2 Funcionamento dos Tribunais 6,0 8,7 Juiz Responsável pelo Processo 6,8 8,0 Recursos à Disposição dos Tribunais 5,7 8,9 Instalações dos Tribunais 7,2 6,1 Aspetos Gerais dos Tribunais 4,5 9,0 Lealdade 7,3 1 10 Muito insatisfeito Muito satisfeito Partes muito satisfeitas Média global A análise do cluster “partes satisfeitas” (figura 18) permite concluir que: Este cluster caracteriza-se por valores médios, para as dimensões, ligeiramente acima dos valores médios verificados globalmente. Em média, estas partes atribuíram mais 0,2 pontos, nas avaliações, do que as partes considerados como um todo. À exceção da dimensão relativa aos aspetos gerais dos tribunais, cuja avaliação se situou nos 4,6 pontos (correspondente a uma situação de partes insatisfeitas), as restantes dimensões consideradas obtiveram, neste grupo, uma avaliação superior a 5 pontos (correspondente a uma situação de partes satisfeitas). Destacam-se positivamente as dimensões relativas à lealdade e ao acesso à informação dos tribunais, com avaliações 0,8 e 0,4 pontos acima da média verificada a nível global, respetivamente. Este grupo está particularmente associado a uma maior incidência, estatisticamente significativa, de indivíduos cujo motivo de deslocação ao 28 Campus de Justiça é profissional (51,5% no grupo, face a 43,0% no total de inquiridos) e de indivíduos cuja profissão é advogado (48,5% no grupo, face a 41,7% no total de inquiridos). Figura 18 – Partes satisfeitas 8,2 Acesso à Informação sobre os Tribunais 7,8 5,9 Funcionamento dos Tribunais 6,0 7,1 Juiz Responsável pelo Processo 6,8 6,0 Recursos à Disposição dos Tribunais 5,7 7,0 Instalações dos Tribunais 7,2 4,6 Aspetos Gerais dos Tribunais 4,5 8,1 Lealdade 7,3 1 10 Muito insatisfeito Muito satisfeito Partes satisfeitas Média global A análise do cluster “partes insatisfeitas” (figura 19) permite concluir que: Este cluster caracteriza-se por valores médios, para as dimensões, abaixo dos valores médios verificados globalmente. Em média, estas partes atribuíram menos 1,8 pontos, nas avaliações, do que as partes considerados como um todo. À exceção das dimensões relativas às instalações dos tribunais e ao acesso à informação sobre os tribunais, cujas avaliações se situaram nos 6,0 e 5,8 pontos, respetivamente (correspondentes a uma situação de partes satisfeitas), as restantes dimensões consideradas obtiveram, neste grupo, uma avaliação inferior a 5 pontos (correspondente a uma situação de partes insatisfeitas). 29 Destacam-se negativamente as dimensões relativas à lealdade e aos recursos à disposição dos tribunais, com avaliações 2,5 e 2,3 pontos abaixo da média verificada a nível global, respetivamente. Este grupo está particularmente associado a uma menor incidência, estatisticamente significativa, de indivíduos com idade até 30 anos (9,7% no grupo, face a 17,2% no total de inquiridos). Figura 19 – Partes insatisfeitas 5,8 Acesso à Informação sobre os Tribunais 7,8 4,3 Funcionamento dos Tribunais 6,0 5,0 Juiz Responsável pelo Processo 6,8 3,3 Recursos à Disposição dos Tribunais 5,7 6,0 Instalações dos Tribunais 7,2 3,0 Aspetos Gerais dos Tribunais 4,5 4,8 Lealdade 7,3 1 10 Muito insatisfeito Muito satisfeito Partes insatisfeitas Média global 5. Recomendações 5.1. Mapas de recomendações No caso particular do estudo apresentado no presente documento, os mapas de recomendações apresentam nas abcissas (horizontalmente) os impactos totais das dimensões explicativas (também designadas de antecedentes) sobre a perceção dos utentes com os aspetos gerais dos tribunais, e em ordenada (verticalmente), as respetivas avaliações médias das várias dimensões. O objetivo deste mapa é o de representar o desempenho 30 relativo para cada uma das dimensões explicativas das perceções acerca dos aspetos gerais ou acerca da lealdade para com os tribunais, bem como a sua importância na explicação destas duas dimensões. Estes mapas encontram-se divididos em quatro quadrantes. No quadrante QI encontramse as dimensões com impacto mais elevado e que simultaneamente mais contribuem para a explicação dos aspetos gerais ou da lealdade. No quadrante QIV, as dimensões que apresentam valores médios menos elevados, mas com grande contribuição para a formação das perceções sobre os aspetos gerais ou sobre a lealdade. Nos quadrantes QII e QIII, as dimensões com menor contributo para a formação das perceções sobre os aspetos gerais ou sobre a lealdade, sendo que as dimensões localizadas no terceiro quadrante possuem valorizações médias abaixo da média global e no segundo quadrante, valorizações médias acima da média global. Como tal, é possível resumir a análise dos quadrantes do seguinte modo: No quadrante I (QI) podem encontrar-me as dimensões que correspondem aos pontos fortes. No quadrante II (QII) situam-se as dimensões que correspondem a pontos fortes secundários e que em face dos seus valores médios elevados e impactos reduzidos sobre a formação das perceções acerca dos aspetos gerais ou acerca da lealdade, não correspondem a prioridades de atuação. No quadrante III (QIII), podem ser encontradas dimensões que correspondem a segundas prioridades, uma vez que a par do seu valor médio reduzido, não têm impactos fortes sobre a formação das perceções acerca dos aspetos gerais ou acerca da lealdade face aos tribunais. No quadrante IV (QIV) encontram-se as dimensões que poderão ser encaradas como prioridades de atuação, em virtude do seu impacto na formação das perceções acerca dos aspetos gerais dos tribunais ou acerca da lealdade. Da análise do mapa de recomendações criado para os aspetos gerais dos tribunais (figura 20), é possível concluir que: 31 No quadrante I (QI): a dimensão juiz responsável pelo processo pode ser considerada como o principal ponto forte. No quadrante II (QII): as dimensões acesso à informação sobre os tribunais e instalações dos tribunais podem ser consideradas como pontos fortes secundários. No quadrante III (QIII): não existem dimensões que possam ser consideradas como segundas prioridades. No quadrante IV (QIV): as dimensões funcionamento dos tribunais e recursos à disposição dos tribunais devem ser consideradas como prioridades de atuação, uma vez que são as dimensões onde a introdução de melhorias mais reflexo terá na satisfação dos utentes do sistema judicial (tribunais). Figura 20 – Mapa de recomendações relativo à perceção sobre os aspetos gerais dos tribunais IMPACTOS MODERADOS IMPACTOS MUITO FORTES QII QI 8,0 Avaliação média da dimensão 7,5 PRINCIPAIS PONTOS FORTES 7,0 6,5 6,0 PRIORIDADES DE ATUAÇÂO 5,5 QIII QIV 5,0 0,00 0,05 0,10 0,15 0,20 0,25 0,30 0,35 Impacto na perceção sobre os aspetos gerais dos tribunais Acesso à Informação sobre os Tribunais Instalações dos Tribunais Juiz Responsável pelo Processo Funcionamento dos Tribunais Recursos à Disposição dos Tribunais 32 0,40 Da análise do mapa de recomendações criado para a lealdade face aos tribunais (figura 21), é possível tirar as seguintes conclusões: No quadrante I (QI): não existem dimensões que possam ser consideradas como principais pontos fortes. No quadrante II (QII): as dimensões acesso à informação sobre os tribunais, instalações dos tribunais e juiz responsável pelo processo podem ser consideradas como pontos fortes secundários. No quadrante III (QIII): a dimensão funcionamento dos tribunais pode ser considerada como segunda prioridade. No quadrante IV (QIV): as dimensões recursos à disposição dos tribunais e aspetos gerais dos tribunais devem ser consideradas como prioridades de atuação, uma vez que são as dimensões onde a introdução de melhorias mais reflexo terá na lealdade dos utentes do sistema judicial para com os tribunais. Figura 21 – Mapa de recomendações relativo à lealdade face aos tribunais IMPACTOS MODERADOS IMPACTOS MUITO FORTES QII QI 8,0 Avaliação média da dimensão 7,5 PRINCIPAIS PONTOS FORTES 7,0 6,5 6,0 5,5 PRIORIDADES DE ATUAÇÂO 5,0 4,5 QIII QIV 4,0 0,00 0,05 0,10 0,15 0,20 0,25 0,30 0,35 0,40 Impacto na lealdade face aos tribunais Acesso à Informação sobre os Tribunais Instalações dos Tribunais Juiz Responsável pelo Processo Funcionamento dos Tribunais Recursos à Disposição dos Tribunais Aspetos Gerais dos Tribunais 33 0,45 0,50 6. Índices de prioridades O índice de prioridades corresponde a uma medida calculada com base nos desvios das avaliações médias de cada dimensão relativamente à média das dimensões como um todo e ainda com base nos impactos de cada dimensão nas perceções acerca dos aspetos gerais ou acerca da lealdade para com os tribunais. Uma dimensão será considerada prioritária se tiver um elevado índice de prioridade. Da análise dos resultados obtidos para as perceções acerca dos aspetos gerais dos tribunais (figura 22), é possível retirar as seguintes conclusões: A dimensão de atuação prioritária corresponde à dimensão recursos à disposição dos tribunais com valor do índice de prioridade de 69,7%, seguida pela dimensão funcionamento dos tribunais com 24,7%. Estas duas dimensões perfazem 94,4% do índice (cujo total é de 100%), sendo as atuações a este nível, decisivas para a melhoria das perceções dos utentes acerca dos aspetos gerais dos tribunais. Seguidamente surge a dimensão juiz responsável pelo processo, com índice de prioridade de 5,6%. As dimensões acesso à informação sobre os tribunais e instalações dos tribunais surgem com valores de 0% no índice, não sendo por isso prioritárias (fruto de impactos nulos na dimensão aspetos gerais dos tribunais). Figura 22 – Índice de prioridades para as perceção sobre os aspetos gerais dos tribunais Recursos à Disposição dos Tribunais 69,7% Funcionamento dos Tribunais Juiz Responsável pelo Processo 24,7% 5,6% Acesso à Informação sobre os Tribunais 0,0% Instalações dos Tribunais 0,0% 34 Da análise dos resultados obtidos para a lealdade dos utentes face aos tribunais (figura 23), é possível retirar as seguintes conclusões: A dimensão de atuação prioritária corresponde à dimensão aspetos gerais dos tribunais com valor do índice de prioridade de 81,9%, seguida pela dimensão recursos à disposição dos tribunais com 10,3%. Estas duas dimensões perfazem 92,2% do índice (cujo total é de 100%), sendo as atuações a este nível, decisivas para a melhoria da lealdade dos utentes face aos tribunais. Seguidamente surgem as dimensões juiz responsável pelo processo e funcionamento dos tribunais, com índices de prioridade de 4,7% e 3,0% respetivamente. As dimensões acesso à informação sobre os tribunais e instalações dos tribunais surgem com valores de 0% no índice, não sendo por isso prioritárias (fruto de impactos nulos na dimensão aspetos gerais dos tribunais e lealdade face aos tribunais). Figura 23 – Índice de prioridades para a lealdade face aos tribunais Aspetos Gerais dos Tribunais 81,9% Recursos à Disposição dos Tribunais Juiz Responsável pelo Processo Funcionamento dos Tribunais 10,3% 4,7% 3,0% Acesso à Informação sobre os Tribunais 0,0% Instalações dos Tribunais 0,0% 35 7. Conclusão, reflexões e considerações finais O estudo piloto sobre satisfação dos utentes da Justiça, restrito geograficamente ao Campus de Justiça9, e a análise dos resultados neste obtidos permitem efetuar um conjunto de reflexões e retirar algumas conclusões sobre o fenómeno em causa. Em primeiro lugar, ficou demonstrado que é possível adaptar com sucesso, para o contexto português, o questionário proposto no Handbook for Conducting Satisfaction Surveys Aimed at Court Users in Council Of Europe's Member States adotado pela Comissão Europeia para a Eficiência da Justiça (CEPEJ) na 15ª reunião plenária de 9 e 10 de Setembro de 2010 em Estrasburgo. Esta adaptação, denominada no presente documento de Barómetro da Qualidade dos Tribunais, provou ser um instrumento de notação eficaz para aferição da satisfação dos utentes da Justiça. Ficou também demonstrado que, com base nos resultados obtidos através do Barómetro da Qualidade dos Tribunais, é possível construir um modelo de equações estruturais, fazendo uso da agregação em sete dimensões dos 24 indicadores empregues (questões diretamente colocadas aos respondentes). O modelo de equações estruturais assim obtido é estatisticamente robusto e avança uma explicação causal para a formação das perceções dos utentes da Justiça relativamente aos aspetos gerais e à lealdade face aos tribunais. De um ponto de vista analítico, os resultados obtidos através do Barómetro da Qualidade dos Tribunais não podem deixar de ser considerados como positivos e surpreendentes. Se por um lado, questões como a celeridade da resolução dos litígios, os custos de acesso ou a pontualidade das sessões são apontadas como as menos favoráveis (como seria, a priori, previsível), por outro, aspetos como o acesso à informação sobre os tribunais em geral, a sinalização interior ou a facilidade de acesso aos mesmos destacam-se positivamente. Efetivamente, das sete dimensões consideradas, seis apresentaram valores superiores a 5 pontos (correspondendo a um nível de “utentes satisfeitos”). De entre estas, destacam-se as dimensões acesso à informação sobre os tribunais, lealdade face aos tribunais, instalações A este título, recorde-se o que foi mencionado no início deste relatório: apesar de em cada uma das questões colocadas aos utentes não ter sido explicitado o tribunal a que essa mesma questão se referia, tratando-se ao invés de questões formuladas em termos abstratos e genéricos, poderá suceder que, considerado o âmbito geograficamente circunscrito da aplicação do inquérito, algumas respostas reflitam, em certa medida, a realidade dos tribunais sitos no Campus de Justiça. Não obstante, é igualmente importante ter presente que não se tratou de um estudo do contexto do Campus de Justiça, pelo que se deve considerar que as respostas às questões formuladas aos utentes do Campus de Justiça espelhem as suas perceções não só relativamente aos tribunais, em geral, mas também relativamente ao sistema judicial como um todo. 9 36 dos tribunais e juiz responsável pelo processo, todas com avaliações médias superiores a 6,5 pontos. Apenas a dimensão aspetos gerais dos tribunais registou uma pontuação inferior a 5 pontos (correspondendo a um nível de “utentes insatisfeitos”). Não obstante a robustez estatística do modelo de equações estruturais criado com base nas respostas obtidas por intermédio do Barómetro da Qualidade dos Tribunais, é importante salientar um aspeto que é merecedor de uma reflexão cuidada. Se é certo que os índices de bondade do ajustamento (GoF ou goodness of fit índex) apresentam valores bastante aceitáveis, quer para o modelo explicativo das perceções face aos aspetos gerais dos tribunais quer para o modelo explicativo das perceções de lealdade face aos tribunais, também é verdade que os coeficientes de determinação ajustados (R2-ajustado) para estes modelos são de 0,371 e 0,175, respetivamente. Isto significa que apenas 37,5% do fenómeno da formação das perceções sobre os aspetos gerais dos tribunais e apenas 17,5% do fenómeno da formação das perceções acerca da lealdade face aos tribunais são captados pelos modelos. Assim, os resultados obtidos neste estudo piloto realizado no Campus de Justiça parecem sugerir que, apesar da completude e procura de objetividade do instrumento de notação criado pela CEPEJ, que busca abarcar todos os principais aspetos relevantes do relacionamento dos utentes com os tribunais, uma componente maioritária da formação dessas perceções não se prende com aspetos relativos ao funcionamento do sistema judicial, per si. Deste modo, é possível avançar com a conjetura de que se as avaliações das dimensões que formam a perceção sobre os aspetos gerais dos tribunais são todas positivas e a avaliação desses mesmos aspetos gerais é negativa, existe um enviesamento das opiniões dos utentes da Justiça, não consciente e gerado pela envolvente social, económica, política e mediática, no sentido de uma avaliação não “objetiva” da situação. A existência de fenómenos de seleção adversa, onde os raros casos que constituem exemplos de verdadeiro mau funcionamento do sistema judicial são os únicos a ser pública e amplamente anunciados e debatidos, e a inevitabilidade de que cerca de 50% os utentes dos tribunais terão de lidar com a frustração de ver a decisão judicial tomada em favor da parte contrária contribuem decisivamente para a fenomenologia observada. Caso contrário, dificilmente se conseguiria compreender que os utentes que avaliam o funcionamento dos tribunais, os recursos à disposição dos tribunais e o juiz responsável pelo processo de forma bastante positiva, 37 sejam os mesmos que avaliam os aspetos gerais dos tribunais de forma a revelar insatisfação. Outra conjetura que é possível avançar, esta relativa à formação das perceções relativas à lealdade face aos tribunais, prende-se com um sólida e enraizada cultura democrática e cívica da população portuguesa. Esta conjetura permite explicar a elevada lealdade demonstrada face aos tribunais, apesar dos resultados insatisfatórios obtidos ao nível das perceções sobre os aspetos gerais dos tribunais. Assim, apesar da expressão de insatisfação para com os aspetos gerais dos tribunais, a cultura da legalidade, do civismo e a crença em que, apesar dos aspetos a melhorar, o sistema judicial continua a ser o melhor fórum de resolução das disputas entre os cidadãos, mantém os inquiridos leais aos tribunais no sentido de que os recomendariam e voltariam a recorrer a estes se necessário (ao invés por exemplo do recurso a soluções de “justiça pelas próprias mãos”). Outro aspeto que merece destaque nestas considerações finais prende-se com as tendências ao nível da caracterização de alguns grupos de utentes, em geral, e de alguns grupos de partes e representantes de partes, em particular. A nível dos utentes em geral, verifica-se uma tendência para que os utentes mais satisfeitos sejam os menos instruídos. Os utentes que nunca recorreram aos tribunais têm a perceção mais desfavorável face aos custos de acesso, por oposição aos utentes que recorreram recentemente aos tribunais e que se deslocaram ao Campus de Justiça por motivos profissionais. Os utentes que são parte em processos judiciais tendem a ser os mais insatisfeitos. A nível das partes ou representantes de partes, verifica-se uma tendência para que os utentes muito satisfeitos sejam os menos instruídos, que não tenham recorrido previamente meios de resolução alternativa de litígios e que tenham tido a causa decidida a seu favor. Os representantes das partes (advogados) apresentam uma tendência para percecionar as várias dimensões consideradas de forma positiva. As partes mais insatisfeitas apresentam uma tendência para a sub-representação dos indivíduos mais jovens, apontando no sentido de uma eventual inadequada gestão de expectativas dos indivíduos menos jovens face ao sistema judicial. 38 É importante terminar com a menção de que medir perceções não é o mesmo que medir realidades, pelo que os esforços desta natureza devem ter sempre este importante facto presente. Contudo, o conhecimento extraído destes exercícios, em geral, compensa largamente, pelo (auto)conhecimento que facultam sobre os sistemas em estudo. Por tudo o que foi anteriormente referido, a metodologia apresentada e seguida neste estudo, do instrumento de notação, ao modelo proposto, ou ao tipo de análises realizadas, encontra-se validada e pronta a conhecer uma aplicação recorrente e expandida geograficamente. O consultor da Direção-Geral da Política de Justiça, Pedro Miguel Alves Ribeiro Correia 39 Anexo I – Dados de caracterização da amostra A amostra recolhida é descrita por um conjunto de valores associados a cada uma das variáveis de caracterização sociodemográfica empregues no instrumento de notação. Esses valores são apresentados seguidamente. A figura 24 permite observar que dos 1.113 entrevistados, 416 eram do género feminino (correspondendo a 37,4%) e 697 eram do género masculino (correspondendo a 62,6%). Figura 24 – Variável de caracterização amostral género 697 (62,6%) 800 700 600 500 416 (37,4%) 400 300 200 100 0 Feminino Masculino De acordo com a figura 25, das 1.113 entrevistas válidas, 248 corresponderam a respostas dadas por indivíduos com até 30 anos de idade (equivalendo a 22,3% do total), 626 corresponderam a respostas dadas por indivíduos com entre 31 e 50 anos de idade (equivalendo a 56,2% do total), 210 corresponderam a respostas dadas por indivíduos com entre 51 e 65 anos de idade (equivalendo a 18,9% do total) e 29 corresponderam a respostas dadas por indivíduos com mais de 65 anos de idade (equivalendo a 2,6% do total). Figura 25 – Variável de caracterização amostral idade 700 626 (56,2%) 600 500 400 300 248 (22,3%) 210 (18,9%) 200 100 29 (2,6%) 0 Até 30 anos Entre 31 e 50 anos Entre 51 e 65 anos 40 Mais de 65 anos Das 1.106 respostas obtidas à questão relativa à instrução académica (figura 26), 265 corresponderam a indivíduos com até 9 anos de escolaridade (equivalendo a 24,0% do total), 363 corresponderam a indivíduos com 10, 11 ou 12 anos de escolaridade (equivalendo a 32,8% do total), 412 corresponderam a indivíduos com licenciatura (equivalendo a 37,3% do total), 62 corresponderam a indivíduos com mestrado (equivalendo a 5,6% do total) e 4 corresponderam a indivíduos com doutoramento (equivalendo a 0,4% do total). Figura 26 – Variável de caracterização amostral instrução académica 450 412 (37,3%) 400 363 (32,8%) 350 300 265 (24,0%) 250 200 150 100 62 (5,6%) 50 4 (0,4%) 0 Até 9 anos de escolaridade 10, 11 ou 12 anos de escolaridade Licenciatura Mestrado Doutoramento Das 1.112 respostas obtidas à questão relativa à eventualidade de o entrevistado exercer atividade profissional associada ao sistema judicial (figura 27), 721 corresponderam à categoria não (equivalendo a 64,8% do total), 160 corresponderam à categoria advogado (equivalendo a 14,4% do total), 6 corresponderam à categoria magistrado do Ministério Público (equivalendo a 0,5% do total), 3 corresponderam à categoria magistrado judicial (equivalendo a 0,3% do total) e 222 corresponderam à categoria outra profissão relacionada com o sistema judicial (por exemplo: escrivão, agente de execução, notário, trabalhador/colaborador dos serviços do Ministério da Justiça, etc.) (equivalendo a 19,9% do total). 41 Figura 27 – Variável de caracterização amostral profissão jurídica 800 721 (64,8%) 700 600 500 400 300 222 (19,9%) 200 160 (14,4%) 100 6 (0,5%) 0 Não Advogado Magistrado do Ministério Público 3 (0,3%) Magistrado judicial Tem outra profissão relacionada com o sistema judicial Em resposta à questão Qual a última vez em que teve de recorrer a um tribunal? foram obtidas 1.112 respostas válidas (figura 28), 369 das quais correspondendo à categoria nunca (equivalendo a 33,2% do total), 514 correspondendo à categoria há menos de 6 meses (equivalendo a 46,2% do total), 34 correspondendo à categoria entre 6 meses e 1 ano (equivalendo a 3,1% do total), 72 correspondendo à categoria entre 1 ano e 3 anos (equivalendo a 6,5% do total), 118 correspondendo à categoria há mais de 3 anos (equivalendo a 10,6% do total) e 5 correspondendo a respostas do tipo não sabe / não responde (equivalendo a 0,4% do total). Figura 28 – Variável de caracterização amostral última vez que teve de recorrer a um tribunal 600 514 (46,2%) 500 400 369 (33,2%) 300 200 118 (10,6%) 100 72 (6,5%) 34 (3,1%) 0 Nunca Há menos de 6 Entre 6 meses a 1 Entre 1 ano a 3 meses ano anos 42 5 (0,4%) Há mais de 3 anos NS/NR De entre os 739 respondentes ao inquérito que tendo já recorrido a um tribunal, apresentaram motivo para o fazer (figura 29), 338 afirmaram ter recorrido ao tribunal por motivos profissionais (não relacionados com advocacia) (equivalendo a 45,7% do total), 178 afirmaram ser uma das partes (correspondendo a 24,1% do total), 124 afirmaram ter sido testemunhas (correspondendo a 16,8% do total), 79 afirmaram ser familiares de uma das partes (correspondendo a 10,7% do total), 16 afirmaram ter ido solicitar informações (correspondendo a 2,2% do total) e 4 afirmaram ter recorrido ao tribunal por outros motivos (correspondendo a 0,5% do total). Figura 29 – Variável de caracterização amostral motivo do recurso ao tribunal 400 350 338 (45,7%) 300 250 200 178 (24,1%) 150 124 (16,8%) 100 79 (10,7%) 50 0 16 (2,2%) Motivos profissionais Uma das partes Testemunha Familiar de uma Pedir informações das partes 4 (0,5%) Outro A observação da figura 30 permite observar que dos entrevistados que tendo já recorrido a um tribunal, foram parte ou representantes de uma das partes, 372 apresentaram resposta à questão relativa à utilização prévia de meios de resolução alternativa de litígios. Desses 372 inquiridos, 233 afirmaram não ter recorrido previamente a meios de resolução alternativa de litígios (equivalendo a 62,6% do total), 137 afirmaram ter recorrido previamente a meios de resolução alternativa de litígios (equivalendo a 36,8% do total) e 2 apresentaram respostas correspondentes à categoria não sabe / não responde (correspondendo a 0,5%). 43 Figura 30 – Variável de caracterização amostral recurso prévio a meios de resolução alternativa de litígios 300 250 233 (62,6%) 200 137 (36,8%) 150 100 50 2 (0,5%) 0 Não Sim NS/NR Atentando na figura 31 é possível observar que dos entrevistados que tendo já recorrido a um tribunal, foram parte ou representantes de uma das partes, 369 apresentaram resposta à questão relativa a se a decisão foi total ou parcialmente favorável à sua parte. Das respostas destes 369 inquiridos, 172 corresponderam à categoria sim (equivalendo a 46,6% do total), 67 corresponderam à categoria não (equivalendo a 18,2% do total), 125 corresponderam à categoria ainda não ocorreu decisão (equivalendo a 33,9% do total) e 5 corresponderam à categoria outra (equivalendo a 1,4% do total). Figura 31 – Variável de caracterização amostral decisão favorável do processo 200 180 160 140 120 100 80 60 40 20 0 172 (46,6%) 125 (33,9%) 67 (18,2%) 5 (1,4%) Sim Não Ainda não ocorreu Outra Observando a figura 32 é possível concluir que dos entrevistados que tendo já recorrido a um tribunal, foram parte ou representantes de uma das partes, 338 apresentaram resposta à questão relativa à representação por advogado. Desses 338 inquiridos, 153 afirmaram ter sido representados por advogado (equivalendo a 45,3% do total), 64 afirmaram não ter sido representados por advogado (equivalendo a 18,9% do total) e 121 afirmaram ser advogados (correspondendo a 35,8%). 44 Figura 32 – Variável de caracterização amostral representação por advogado 300 250 200 150 153 (45,3%) 121 (35,8%) 64 (18,9%) 100 50 0 Sim Não É advogado Finalmente, observando a figura 33, é possível concluir que dos entrevistados que tendo já recorrido a um tribunal, foram parte ou representantes de uma das partes, 372 responderam à questão relativa ao benefício de apoio judiciário. Desses 372 inquiridos, 259 afirmaram não ter recebido apoio judiciário (equivalendo a 69,6% do total), 105 afirmaram ter recebido apoio judiciário (equivalendo a 28,2% do total) e 8 apresentaram respostas correspondentes à categoria não sabe / não responde (correspondendo a 2,2%). Figura 33 – Variável de caracterização amostral benefício de apoio judiciário 300 259 (69,6%) 250 200 150 105 (28,2%) 100 50 8 (2,2%) 0 Não Sim 45 NS/NR Anexo II – Dados adicionais sobre as perceções dos utentes da justiça (tribunais) Uma análise de assume relevância, per si, consiste na comparação conjunta de todos os indicadores (questões colocadas diretamente) constantes dos questionários aplicados. Como um todo, as questões colocadas no inquérito aplicado no Campus de Justiça apresentaram uma média global correspondente a 6,4 pontos em 10 possíveis. A análise das figuras 34 e 35 permite concluir que: Das 24 questões colocadas, 19 apresentaram classificações superiores a 5 pontos em 10 possíveis (correspondendo a avaliações positivas das questões), tendo as restantes 5 apresentado valores inferiores a 5 pontos. Destacam-se, com as pontuações mais elevadas do conjunto de questões, a facilidade em encontrar informação sobre o tribunal, a sinalização interior das instalações e a acessibilidade das instalações, com classificações de 8,3, 8,1 e 8,1 pontos, respetivamente. Estas são também as questões em que se verificam os maiores desvios positivos face à média global das questões (+1,9, +1,7 e +1,6 pontos, respetivamente). Destacam-se, com as pontuações mais reduzidas do conjunto de questões, o custo de acesso (sem considerar os honorários de advogados) e a celeridade da resolução dos litígios, com classificações de 3,8 e 3,6 pontos, respetivamente. Estas são também as questões em que se verificam os maiores desvios negativos face à média global das questões (–2,6 e –2,8 pontos, respetivamente). 46 Figura 34 – Médias das avaliações aos indicadores (questões colocadas diretamente) constantes dos questionários aplicados Foi fácil encontrar informação sobre o tribunal 8,3 As instalações encontram-se bem sinalizadas no seu interior 8,1 As instalações são de fácil acesso 8,1 A informação que lhe foi transmitida sobre o seu litígio foi clara 7,6 Se necessário, voltaria a recorrer aos tribunais 7,5 Imparcialidade ao longo do processo (juiz) 7,3 Clareza da linguagem utilizada (juiz) 7,2 Competência dos técnicos do tribunal 7,1 Recomendaria a utilização dos tribunais 7,1 Clareza da decisão (juiz) 7,1 Igualdade de oportunidades no debate da questão ao longo do processo (juiz) 7,1 As instalações estão bem equipadas 7,0 Disponibilidade e atendimento dos técnicos do tribunal 7,0 Atitude e cortesia demonstradas (juiz) 6,9 As comunicações/informações são claras 6,9 As condições de espera são adequadas Indicadores com avaliação média entre 7 e 9 pontos 6,0 Os recursos à disposição são adequados Indicadores com avaliação média entre 5 e 7 pontos 5,7 Rapidez com que as decisões são proferidas (juiz) 5,3 Confiança no sistema 5,0 Funcionamento geral 4,9 O tempo decorrido entre o pedido e a primeira sessão em que foi ouvido(a) foi aceitável 4,8 As sessões começaram à hora marcada 4,7 Custo de acesso (sem considerar os honorários de advogados) 3,8 Celeridade da resolução dos litígios 3,6 Indicadores com avaliação média entre 3 e 5 pontos 1 10 Nível muito baixo 47 Nível muito elevado Figura 35 – Diferenças relativamente à média global das avaliações aos indicadores (questões colocadas diretamente) constantes dos questionários aplicados Foi fácil encontrar informação sobre o tribunal 1,9 As instalações encontram-se bem sinalizadas no seu interior 1,7 As instalações são de fácil acesso 1,6 A informação que lhe foi transmitida sobre o seu litígio foi clara 1,1 Se necessário, voltaria a recorrer aos tribunais 1,1 Imparcialidade ao longo do processo (juiz) 0,9 Clareza da linguagem utilizada (juiz) 0,8 Competência dos técnicos do tribunal 0,7 Recomendaria a utilização dos tribunais 0,7 Clareza da decisão (juiz) 0,7 Igualdade de oportunidades no debate da questão ao longo do processo (juiz) 0,6 As instalações estão bem equipadas 0,6 Disponibilidade e atendimento dos técnicos do tribunal 0,6 Atitude e cortesia demonstradas (juiz) 0,5 As comunicações/informações são claras 0,5 As condições de espera são adequadas Indicadores com desvio positivo face à média do conjunto dos indicadores -0,4 Os recursos à disposição são adequados -0,7 Rapidez com que as decisões são proferidas (juiz) -1,1 Confiança no sistema -1,4 Funcionamento geral -1,5 O tempo decorrido entre o pedido e a primeira sessão em que foi ouvido(a) foi aceitável -1,6 As sessões começaram à hora marcada Indicadores com desvio negativo face à média do conjunto dos indicadores -1,8 Custo de acesso (sem considerar os honorários de advogados) -2,6 Celeridade da resolução dos litígios -2,8 -3 -2 -1 48 0 1 2 3 Anexo III – Instrumento de notação10 Adaptado de Handbook for Conducting Satisfaction Surveys Aimed at Court Users in Council Of Europe's Member States, elaborado pela CEPEJ-GT-QUAL com base no trabalho de Jean-Paul Jean e de Hélène Jorry e adotado pela Comissão Europeia para a Eficiência da Justiça (CEPEJ) na sua 15ª reunião plenária a 9 e 10 de Setembro de 2010 em Estrasburgo. 10 49 50 51 52 53 54 55 Anexo IV – Protocolo de Colaboração Relativo à Elaboração de Estudo Piloto Sobre Satisfação dos Utentes da Justiça 56 57 58 59 60 61 62 63 64 65