PADRÕES DE EXCELÊNCIA PARA A FORMAÇÃO E O TREINAMENTO EM ADMINISTRAÇÃO PÚBLICA United Nations Department of Economic and Social Affairs /International Association of Schools and Institutes of Administration Task Force on Standards of Excellence for Public Administration Education and Training Relatório Final Maio 2008 1 Prefácio A Força Tarefa para Padrões de Excelência na Formação e Treinamento Público foi iniciada pela Divisão de Administração Pública e Gerenciamento de Desenvolvimento (DAPGD), Departamento de Assuntos Econômicos e Sociais (DAES) nas Nações Unidas em convênio com a Associação Internacional de Escolas e Institutos de Administração (sigla em inglês, IASIA) em julho de 2005. Seus membros foram indicados em conjunto por Guido Bertucci, o Diretor da DAPGD/ONU e por Turgay Ergun, o então Presidente da IASIA. O primeiro encontro ocorreu em Como, na Itália, e encontros subseqüentes ocorreram em Varsóvia e Bruxelas. Ademais, vários membros do Força Tarefa participaram de ou conduziram sessões abertas em diversas conferências, em várias partes do mundo. Por indução da Força Tarefa, a ONU realizou uma pesquisa importante sobre instituições de formação e treinamento em administração pública, conduzida por Jide Balogun. Também apoiou a preparação da obra “Excellence and Leadership in the Public Sector: The Role of Education and Training”, editada por Allan Rosenbuam e John-Mary Kauzya. Além do mais, tanto a ONU quanto a Força Tarefa encomendaram vários trabalhos - entre os quais se incluem: • “National Organizational Arrangements for Delivering Public Administration Education and Training” de Natalya Kolisnichenko. • “Quality Standards in Public Administration Education and Training”de Theo van der Krogt. • “Public Affairs Education: Adding Value in the Public Interest” de Kathryn E. Newcomer. • “ Standards of Public Administration Education and Training in Select Countries in Asia” de R.K. Mishra • “Quality Assurance in the Rising International Market for Public Affairs Education” de Laurel McFarland. O documento que segue representa o conjunto final das propostas para Padrões de Excelência na Formação e no Treinamento em Administração Pública produzido pela Força Tarefa. Também inclui proposta de critérios que permitem avaliar o progresso em direção aos padrões de excelência, bem como uma lista de pontos que podem ser utilizados por uma instituição ao trabalhar com os Padrões. Naturalmente, os membros da Força Tarefa sabem que os Padrões de Excelência não podem ser uniformemente aplicáveis ou igualmente relevantes em todas as situações. No entanto, acreditamos que a maioria deles seja relevante na maioria das situações. Também, é claro, reconhecemos que alguns dos Padrões, assim como seus critérios de avaliação, podem ser aplicáveis em maior ou menor grau, dependendo do escopo do programa de formação e/ou treinamento envolvido. 2 Os membros da Força Tarefa incluíram: • Allan Rosenbaum, Presidente da Força Tarefa UNDESA/IASIA, atual Presidente da IASIA e Director del Instituto de Administración Pública e Servicios Comunitarios da Universidade Internacional da Florida (FIU, sigla em inglês), Miami, Florida, EE.UU. • Guido Bertucci, Co-organizador da força tarefa e Diretorda Division for Public Administration and Development Management/United Nations Department of Economic and Social Affairs (DPADM/UNDESA); • Turgay Ergun, Co-organizador da força tarefa e Diretor Geral, do Public Administration Institute for Turkey & the Middle East, (TODAIE), Ankara, Turquia, e ex-presidente de IASIA, Bruxelas, Bélgica; • Barbara Kudrycka, Minister of Higher Education and Science, Governo da Polônia, Varsovia, Polonia; • Natalya Kolisnichenko, Associate Professor, Department of European Integration Odessa Regional Institute of Public Administration, National Academy of Public Administration Office of the President, Odessa, Ucrania; • Blue Wooldridge, Professor, L. Douglas Wilder School of Government and Public Affairs, Virginia Commonwealth University, Department of Political Science and Public Administration, Richmond, Virginia, EEUU. • Theo van der Krogt, Secretary General, European Association for Public Administration Accreditation, Twente, Países Baixos. • John Mary Kauzya, Chief, Governance Systems and Institutions Unit in the Division of Public Administration and Development Management/United Nations Department of Economic and Social Affairs (DPADM/UNDESA); • Ludmila Gajdosova, Executive Director, Network of Schools and Institutes of Public Administration of Central and Eastern Europe, Bratislava, Eslovaquia; • Jide Balogun; anteriormente Diretor Geral do Administrative Staff College of Nigeria e InterRegional Advisor para a the ONU; • R.K. Mishra, Senior Professor and Director, Institute of Public Enterprise, Osmania University, India; • Bianor Cavalcanti, Director, Brazilian School of Public Administration, Gertulio Vargas Foundation, (EBAPE/FGV), Rio de Janeiro, Brasil; • Mark Orkin, Director General, Southern African Management Development Instiute (SAMDI), Pretoria, Africa do Sul; • Margaret Saner, Diretora do Institutes Initiative CAPAM – Commonwealth Association for Public Administration and Management, Reino Unido. 3 Introdução Pelo fato do público procurar serviços de alta qualidade, é necessário que as organizações do setor público tenham um desempenho de alto nível. Para atingir tal nível, é importante que as pessoas que trabalham no setor público tenham o mais alto nível de capacitação e preparo. Consequentemente, as instituições que formam e treinam essas pessoas devem sempre buscar a excelência, porque, seguramente, melhor governança está fundamentalmente associada à preparação mais eficaz dos administradores públicos. Em publicação anterior da Força Tarefa, Excellence and Leadership in the Public Sector; the Role of Education and Training, o co-editor da obra e também diretor da Força Tarefa, Allan Rosenbaum, formulou o objetivo do produto final da Força Tarefa da seguinte maneira: A intenção desse esforço conjunto é desenvolver padrões objetivos relacionados à natureza da excelência em administração pública e treinamento nesta área. Espera-se que tais padrões permitam que as instituições se auto-avaliem, e, assim, determinem os recursos necessários à obtenção da excelência. 1 Este último ponto deve ser aqui enfatizado: a intenção é que os padrões aqui propostos sejam utilizados para a auto-avaliação num processo de aprendizado, e não como um medidor para o “julgamento” de programas ou instituições. Na mesma publicação, Blue Wooldridge propôs um conjunto de características das escolas e instituições de administração mais eficazes, utilizando essas características como uma base para desenvolver critérios pelos quais seria possível avaliar a excelência da formação e do treinamento em administração pública. 2 Entre as numerosas características das organizações mais eficazes sugeridas por Wooldridge estão: • • • • • Comprometimento com visão e missão claramente descritas Foco em serviços de qualidade para o cliente Empoderamento dos empregados Valorização da diversidade Comunicação eficaz Essas características são as que as organizações mais eficazes apresentam, sejam elas agências do setor público ou instituições de formação e treinamento. Sua implementação, no entanto, representa um desafio crítico para tais organizações, e são essas características que a Força Tarefa procurou abordar, ao elaborar os Padrões de Excelência que seguem. Como aponta Guido Bertucci, Diretor da Divisão para Administração Pública e Gestão de Desenvolvimento da ONU, “A iniciativa da ONU/IASIA é baseada na crença de que os programas de formação e treinamento em administração pública devem ser concebidos e implementados com o objetivo de capacitar as lideranças futuras e atuais do setor público para abordar de maneira eficaz as principais questões que o mundo enfrenta hoje...”3. Foi para isto que a Força Tarefa trabalhou e para tanto oferece os Padrões de Excelência que seguem. 1 Rosenbaum, et al. 2007: p.viii Wooldridge, 2007 3 Bertucci 2007. 2 4 Padrões de Excelência A Força Tarefa acredita que os critérios de avaliação de excelência na formação e no treinamento em administração pública devem facilitar a atuação do setor público, formando servidores públicos da mais alta qualidade. Além do mais, nessa junção histórica, a Força Tarefa acredita que o propósito da formação e do treinamento em administração pública é prover os administradores públicos com as competências e as capacidades de contribuir para o melhoramento da qualidade de vida, especialmente para os membros da sociedade com maior desvantagem econômica, social e política.4 1. Comprometimento com o Serviço Público: O corpo docente e a administração do programa são definidos pelo comprometimento fundamental com o serviço público. O grupo, em todas as suas atividades, (ensino, treinamento, pesquisa, assistência técnica e outras atividades de serviço), em todos os momentos, está absolutamente comprometido com o avanço do interesse público e a construção de instituições democráticas. Isso é verdade em todos os aspectos do programa, que incluem tanto arranjos de organização internos, assim como atividades programáticas nos níveis local, regional, nacional e internacional. 2. Defesa de Valores do Interesse Público: O corpo docente e a administração do programa refletem seu comprometimento com o avanço do serviço público, tanto pela defesa quanto pelo esforço de criar uma cultura de participação, comprometimento, resposta, e accountability em todas as organizações e instituições com as quais entram em contato. Ao fazê-lo, tanto pela pedagogia quanto pelo exemplo, preparam alunos e trainees para oferecer o mais alto nível de serviço público. 3. Combinando Estudo, Prática e Serviço Comunitário: Por ser a administração pública uma ciência aplicada, o corpo docente e a administração do programa se comprometem com a integração da teoria com a prática e, como tal, o programa baseiase no conhecimento e na compreensão gerados tanto pela pesquisa de mais alta qualidade quanto pela experiência prática de maior excelência. Consequentemente, o corpo docente, a administração e os alunos do programa engajam-se de maneira ativa através das atividades de ensino, treinamento, pesquisa e serviços em todas as comunidades envolvidas, desde o menor vilarejo ou bairro até a comunidade global. 4 Por favor, anotar: • No seguinte texto o termo ‘ programa’ é usado como termo genérico para todos os tipos de formação e treinamento. Pode referir tanto a um grau obtido em dois anos quanto a uma atividade de treinamento de um dia. • Quanto mais formal o resultado do programa (por exemplo, um grau de mestrado), mais específico podem ou devem ser os padrões e critérios. Também, em algumas ocasiões, padrões adicionais podem ser aplicados (por exemplo, um programa de mestrado deve ter um tempo ou quantidade de pontos de estudo específicos). Por serem os padrões abaixo dirigidos à totalidade das atividades de formação e treinamento, em alguns pontos os critérios de certos tipos de formação e treinamento são especificados. • Apesar deste ponto se repetir em várias ocasiões, deve-se enfatizar que é essencial o envolvimento de todos os que participam da definição, interpretação e detalhamento desses padrões. 5 4. O Corpo Docente é Central: O comprometimento e a qualidade do corpo docente (e/ou treinadores) são centrais para a realização dos objetivos do programa em todas as áreas de atividade. Consequentemente deve haver, especialmente em programas que concedem diplomas, um corpo docente central de tempo integral comprometido com os mais altos padrões de ensino, treinamento e pesquisa, e que tenha a autoridade e a responsabilidade apropriadas para os padrões aceitos de governança do programa do corpo docente. Esse corpo docente deve ser remunerado num nível que lhe permita a nível que o permita dedicar-se plenamente às realizações dos objetivos e propósitos do programa, e deve se disponibilizar em tamanho adequado consistente com a missão do programa. Nesse sentido, a proporção de um membro do corpo docente para 20 alunos de pós-graduação, e ao menos 4 docentes de tempo integral, representaria a exigência mínima típica. As responsabilidades de docência da equipe não devem ultrapassar dois cursos acadêmicos (ou o equivalente numa instituição de ensino) a qualquer momento no calendário anual, permitindo o envolvimento necessário em pesquisa, treinamento, e atividades de serviço e assistência técnica. 5. A Inclusão está no âmago do Programa: Um elemento crítico para alcançar a excelência na formação e no treinamento em administração pública é um firme comprometimento por parte do corpo docente e da administração com a diversidade de idéias e participação. As pessoas que participam do programa, incluindo alunos, trainees, treinadores, administradores e corpo docente, devem vir das diferentes comunidades raciais, étnicas e demográficas da sociedade. As idéias, conceitos, teorias e práticas abordadas no programa devem representar ampla variedade de interesses e abordagens intelectuais. Cada pessoa deve ser integrada ao programa levando-se em consideração etnia, nacionalidade, raça, gênero e acesso indiscriminado; e isto também serve para fomentar a inclusão em termos de idéias. Ambas as formas de inclusão, a intelectual e a participativa, são características de um programa excelente. 6. Um Currículo com propósito e que atende às necessidades: Um dos principais objetivos da formação e do treinamento em administração pública é o desenvolvimento de administradores públicos que contribuam de maneira forte e positiva para o serviço público, em geral e, em particular, para as organizações das quais participam e para as quais retornarão. Isso exige que os programas de formação e de treinamento em administração pública tenham missões coerentes que conduzam a organização do programa e o desenvolvimento do currículo. Ademais, é muito importante que os responsáveis pela formação e o treinamento de administradores públicos se comuniquem e trabalhem com as organizações para as quais estão preparando alunos e trainees e, quando apropriado, estejam prontos para responder às demandas destas organizações. Também requer que o aluno e/ou trainee seja impregnado de um comprometimento com a diferença, e que sua formação e seu treinamento o prepare para se comunicar de maneira eficaz (tanto verbal como escrita) com aqueles com quem trabalham. 7. Recursos Adequados são cruciais: Um pré-requisito importante na criação de um programa de formação e de treinamento em administração pública de excelência é a disponibilidade de recursos adequados. Exigem-se muitos tipos diferentes de recursos, como instalações, tecnologia, recursos de biblioteca e serviços estudantis (em termos de assistência relacionada ao cumprimento de necessidades básicas como moradia, saúde etc.). A disponibilidade desses recursos obviamente está ligada à disponibilidade de recursos financeiros. Estes devem ser de ordem a manter docentes e/ou treinadores de 6 tempo integral, oferecer assistência necessária aos alunos e ao corpo docente (como financiamento para participação em conferências internacionais etc.) e garantir a disponibilidade de espaços adequados para aula, pesquisa, treinamento e reuniões, assim como salas individuais para cada membro do corpo docente e, de acordo com a necessidade, para alunos. 8. Equilibrando Colaboração e Competição: Finalmente, e mais importante, deve haver entre os docentes, treinadores, administradores e alunos do programa um sentido de propósito e missão compartilhados, derivados do comprometimento do programa com o avanço do interesse público. Também deve haver um sentido de determinação, até de competitividade, que conduza o programa a ser o melhor, e que crie o desejo de cumprir e exceder os padrões de excelência de categoria internacional. Para avaliar a consecução dos padrões de excelência é necessário que haja critérios apropriados para medir o progresso do programa. Os critério para avaliação dos padrões apresentados abaixo são inspirados nos capítulos de Woodridge e de outros em Excellence and Leadership in the Public Sector, e nos padrões utilizados por NASPAA5,EAPAA6, ENQA7 e EFND/EPAS8, e nas várias discussões no âmbito da Força Tarefa, e com outros colegas em reuniões abertas organizadas pelo grupo em conferências internacionais. Principais Categorias de Critérios para Avaliar Padrões de Excelência Os critérios para avaliar os padrões estão são divididos em várias categorias. Esse esquema de categorias pode ser discutido, e, certamente, outros agrupamentos são possíveis e defensáveis. No entanto, após de estudar de vários grupos de critérios e/ou padrões em programas de avaliação e certificação internacionais, chegou-se à conclusão de que era possível dividir os critérios de avaliação dos padrões em dois grupos: o primeiro relacionado à natureza organizacional e às características da instituição oferecendo os programas, e o segundo composto pelos critérios ligados ao programa em si sendo desenvolvido pela instituição. Portanto, distinguimos: A. Critérios Institucionais B. Critérios relacionados ao Programa Este segundo grupo pode ser dividido em quatro sub-categorias: B1. Desenvolvimento e Revisão do Programa B2. Conteúdo do Programa B3. Gerenciamento do Programa B4. Desempenho do Programa 5 National Association of Schools of Public Affairs and Administration/Commission on Peer Review and Accreditation, NASPAA/COPRA 2006 6 European Association for Public Administration and Accreditation, EAPAA 2006 7 European Association for Quality Assurance in Higher Education, ENQA 2005 8 European Foundation for Management Education-Educational Planning and Assessment Systems, EFMD-EPAS 2006 7 A. Critérios Institucionais para a Avaliação de Excelência na Organização do Programa O seguinte conjunto de critérios aplica-se ao nível institucional e pode ser visto como pré-requisito ao cumprimento de programas de excelência. 1. Processo de planejamento estratégico: o programa deve desenvolver e atualizar de maneira sistemática uma estratégia de acordo com seu objetivo escolhido ou designado. Esse processo deve abordar as atividades do programa nas áreas de ensino, treinamento, pesquisa e serviços públicos. Esse processo deve resultar na formulação de clara uma missão para o programa 2. Estrutura Financeira e Orçamentária: deve haver uma estrutura financeira e orçamentária eficiente e transparente em que os responsáveis pelo programa tenham nítido controle orçamentário. 3. Sistema de garantia de Qualidade: o programa deve ter um sistema de garantia de qualidade adequado (contínuo, circular e abrangente) e formalizado (estratégia, política e procedimentos), no qual esteja assegurada a participação dos grupos interessados relevantes. Os resultados desse sistema devem estar disponíveis ao público. 4. Sistema de Gestão de Recursos Humanos (GRH): o programa deve ter um sistema GRH adequado, no que se refere a remuneração, desenvolvimento e envolvimento das pessoas, (especialmente o desenvolvimento de habilidades relacionadas à formação e experiência internacionais). Além do mais, o corpo docente e os funcionários devem refletir a diversidade da população do país. 5. Contribuição à Disciplina: de acordo com a missão do programa ou da instituição, que o corpo docente receba apoio e estímulo adequados para gerar e divulgar novos conhecimentos na disciplina de administração pública e nos campos afins. 6. Diversidade Social e Cultural: a política e a prática de pessoal devem refletir e promover a diversidade social e cultural. 7. Instalações: Deve haver instalações adequadas no que diz respeito à biblioteca, equipe de suporte, salas de aula e equipamento utilizado para aulas, sistemas de elearning, e salas para docentes e (quando aplicável) instalações para residência. As instalações devem ser acessíveis aos portadores de necessidades especiais. 8. Serviços para os estudantes: a instituição deve oferecer aos alunos serviços de boa qualidade, ao menos no que diz respeito a aconselhamento individual ou tutoria e assistência para conseguir emprego. 9. Relações Públicas: os programas devem possuir um sistema de relações públicas que oferece informação adequada, correta e objetiva sobre suas tarefas, objetivos e estrutura, os programas específicos oferecidos e seus respectivos custos, os benefícios oferecidos e o desempenho geral do programa e da instituição. 10. Reclamações: a instituição deve ter sistema adequado (justo, acessível) para lidar com reclamações. 11. Função exemplar: o programa deve ser manejado como uma organização pública exemplar. 12. Benchmarking: regularmente, o programa deve comparar seu funcionamento com o de outras organizações de excelência. 8 B. Critério de Avaliação de Excelência Programática O segundo grupo de critérios de avaliação dos padrões aplica-se aos aspectos substantivos dos programas. Aqui estão quatro sub-grupos distinguíveis: critérios de avaliação de padrões para o desenvolvimento de programas, gerenciamento de programas, conteúdo de programas e desempenho de programas. B 1 Desenvolvimento e Revisão do Programa 1. Processo de Desenvolvimento e Revisão do Programa: deve haver um processo adequado tanto para o desenvolvimento quanto para a revisão do programa, envolvendo a todos os interessados. 2. Objetivos e Metas do Programa: o desenvolvimento ou revisão do programa deve resultar em metas e objetivos programáticos claros e realísticos, incluindo a identificação do público alvo e o nível de atividade; o ideal é que os objetivos sejam formulados como competências ou resultados de aprendizado (conhecimento, habilidades e atitudes) a serem obtidos. Essas metas e objetivos podem assumir a forma de uma missão programática. 3. Estratégia Educacional: com base nas metas, objetivos, nível e público alvo, uma estratégia educacional adequada deve ser elaborada. Merece abordagem especial o equilíbrio entre teoria e prática. Devem ser utilizados métodos de ensino variados. Os métodos de ensino devem ser “baseados em evidências”, na medida do possível. Quando elementos de e-learning forem utilizados no programa, merecem atenção especial. 4. Desenho do Programa: a estratégia educacional, de metas e objetivos deve resultar num desenho de programa incorporando os componentes, horários, tarefas e avaliações programáticas. 5.Coerência e Consistência do Programa: o programa deve ser coerente e consistente, e o aluno deve ser capaz de cumprir com suas exigências dentro do prazo previsto. Deve ficar clara a relação dos objetivos, competências e/ou resultados de aprendizado com os elementos, tarefas e avaliações do programa. 6. Corpo Docente do Programa: o corpo docente principal deve incluir pessoas com experiência acadêmica e não-acadêmica. Na sua maior parte, docentes que ensinam nos programas de pós-graduação devem ser diplomados e estar engajados de forma ativa em pesquisa, serviços, e, quando apropriado, atividades de consultoria. Profissionais de preparo adequado devem estar envolvidos em todos os programas acadêmicos e/ou de treinamento. 7. Número de docentes/funcionários: deve haver ao menos quatro docentes de tempo integral responsáveis pela parte principal do programa, ou até mais docentes, dependendo da missão, tamanho e escopo do programa. 8. Envolvimento em pesquisa: o quadro a equipe/docentes responsáveis pela parte principal de qualquer programa que confere grau deve dedicar parte importante de seu tempo à pesquisa e ao comunitário. 9. Admissão ao Programa: deve haver um procedimento de admissão adequado, transparente e justo, com os critérios de admissão publicamente disponíveis. 9 B2 Conteúdo do Programa 1. Consistência e Coerência do Programa: o conteúdo do programa deve fluir logicamente através das ira lógica das metas, objetivos e estratégia educacional. 2. Nível do Programa: o conteúdo deve adaptar-se ao apropriado nível do público alvo. 3. Exigências Formais do Programa: o conteúdo deve abranger os elementos prescritos nos requisitos para obtenção de um certificado ou título. 4. Base do Programa: o conteúdo do programa deve, de acordo com seu nível, refletir insights e conceitos, teorias e métodos internacionais de vanguarda. Na medida do possível, os métodos/procedimentos/políticas ensinados devem estar baseados em evidências. 5. Multidisciplinariedade: o conteúdo do programa deve refletir a base multidisciplinar da área de administração pública. 6. Experiência Prática: programas que concedem grau devem ser estruturados de maneira a assegurar que todos os seus graduados tenham experiência estruturada no setor público ou no setor que não visa a lucro.de fins não-lucrativos. 7. Consulta à Comunidade: No desenvolvimento tanto de programas de treinamento quanto os de concessão de grau, as necessidades das organizações para as quais os indivíduos estão sendo preparados são de importância crucial. Para realizar este objetivo deve haver consulta e diálogo apropriados. 8. Componentes do currículo: O programa de estudos ou currículo deve realçar as competências, valores, conhecimento e habilidades para agir de maneira ética, balanceada, efetiva e eficiente. Subordinados à missão do programa, esses componentes devem incluir: Gestão de Organizações de Serviço Público: - Gestão de Recursos Humanos -Processos financeiros e orçamentários -Gestão de informações, novas aplicações tecnológicas, e políticas -Direito Administrativo e Constitucional -Habilidades eficazes de comunicação -Conceitos e comportamentos de organizacionais e gerenciais. -Relacionamento com o setor privado e com o setor que não visa a lucro e gestão de doações Melhoria em Processos do Setor Público -Desenvolvimento de organizações de excelência -Gestão de redes e parcerias -Oferta de bens e serviços públicos -Gestão de projetos e contratos -Apoio à diversidade dos empregados -Motivação e modelagem de organizações do setor público Liderança no Setor Público: -Resolução de problemas de maneira criativa e inovadora -Liderança e transformação institucional e organizacional -Estratégias de Prevenção de Conflitos e Resolução de Estratégias -Promoção de oferecimento eqüitativo de serviços -Desenvolvimento de abordagens para o alívio da pobreza -Promoção do desenvolvimento democrático das instituições -Ética do Setor Público 10 Aplicação de Análise Quantitativa e Qualitativa -Economia institucional e de desenvolvimento -Formulação, análise, implementação e avaliação de políticas e programas -Tomada de decisões e resolução de problemas -Planejamento estratégico Compreensão de Políticas Públicas e do Ambiente Organizacional: -Instituições e processos políticos e legais -Instituições e processos sociais e econômicos -Contexto histórico e cultural -Gestão do desenvolvimento econômico -As implicações de um governo de terceira parte -Reconhecimento e reconciliação da diversidade cultural Essas exigências de área não prescrevem cursos específicos. Também não implicam que a mesma carga horária seja destinada a cada área ou que todos esses cursos devem ser oferecidos nos programas de assuntos públicos, política pública ou administração pública. Nem devem ser interpretadas de maneira a impedir o desenvolvimento de pontos fortes ou de áreas de especialização, em cada programa. 9. Existem outros critérios relevantes para a avaliação da excelência dos programas. Tais critérios se referem aos aspectos mais gerais do programa e contribuem para as metas mais abrangentes que são fundamentais ao bem estar de qualquer sociedade. Consequentemente, programas que preparam indivíduos para o setor público, ou que ajuda, a melhorar suas habilidades, devem possuir conteúdo que aborde o seguinte: Valores do Setor Público: todos os programas de treinamento e educação produzidos para o setor público devem contribuir para o desenvolvimento de indivíduos com valores verdadeiros do setor público, que podem ser caracterizados como possuidores de conhecimento e compreensão da importância de um setor público efetivo, contendo o seguinte: • • • • • • • • • Valores democráticos Respeito aos direitos individuais e humanos básicos Justiça social e a distribuição equitativa de bens e serviços Diversidade social e cultural Transparência e accountablility Desenvolvimento sustentável Justiça e imparcialidade organizacional Reconhecimento de interdependência global Engajamento Cívico 11 Habilidades do Setor Público: programas de treinamento e formação que preparam indivíduos para o setor público devem possibilitar (com relação às metas e ao nível do programa) aos participantes construírem a capacidade pessoal para o seguinte: • Pensamento Crítico e Analítico • Lidar com Complexidades • Flexibilidade • Lidar com incertezas e ambigüidades • Operar num ambiente político • Construir organizações de excelência • Envolver outros grupos e instituições da sociedade para realizar as metas das políticas • Aprendizagem contínua • Aplicação de experiências de vida para atividades acadêmicas e de treinamento Natureza do Setor Público: programas de formação e treinamento produzidos para o setor público (com relação às metas e ao nível do programa) devem abordar: • Internacionalização e globalização • O equilíbrio entre centralização e descentralização • Impacto das organizações e dos acordos multinacionais • Enfraquecimento do Estado (a influência dos cortes e do novo gerenciamento público) • Novas formas de comunicação e seu impacto • Governança colaborativa B3 Gerenciamento e Administração do Programa Outro conjunto de critérios para avaliar padrões está relacionado ao gerenciamento de programas: 1. Responsabilidades pelo Programa: Deve haver uma estrutura clara de responsabilidades pelo Programa. 2. Orçamento do Programa: o orçamento (em termos de finanças, pessoal e instalações) deve ser adequado para alcançar as metas e objetivos do programa. 3. Administração do Programa: deve haver administração adequada do programa. 4. Progresso dos Participantes: deve haver acompanhamento adequado do progresso do aluno que seja disponível ao aluno individualmente. 5. Avaliação: o desempenho dos alunos deve ser avaliado adequadamente, de preferência em termos das competências obtidas. Os alunos devem ser avaliados utilizando critérios, regulamentações e procedimentos publicados, aplicados de maneira consistente, e devem ter acesso ao procedimento padrão com relação a assuntos ligados a seu desempenho. 6. Informação sobre o programa: os alunos devem ter acesso à informação atualizada e pontual sobre o programa. 7. Avaliação do corpo docente: os docentes envolvidos no programa devem ser periodicamente avaliados. 8. Comunicação: deve haver um sistema de comunicação adequado entre todas as pessoas envolvidas (alunos, docentes, equipe). 12 9. Consistência na apresentação: No caso do oferta múltipla de cursos, deve ser garantida a consistência da apresentação. 10. Revisão e monitoramento do programa: deve haver um sistema adequado (contínuo, circular e abrangente) de monitoramento (avaliação de cursos e do programa) e de revisão do programa por todos os participantes interessados. Esse sistema deve ser consistente com o sistema geral de garantia de qualidade da instituição. B4 Realização do Programa 1. Sistema de Medida de Desempenho: deve haver um sistema adequado de medida de desempenho do programa. O sistema de medida de desempenho do programa deve estar relacionado aos objetivos do programa e, se possível, conter um sistema de benchmarking. 2. Satisfação: a satisfação com o programa do ponto de vista dos envolvidos (alunos, graduados e empregados) deve ser avaliada regularmente. 3. Informação operacional básica: informação sobre dados relevantes (dependendo do tipo de treinamento ou de formação) como o número de participantes, cobertura de público alvo, trancamentos, tempo médio de estudo, deve estar prontamente disponível. 4. Metas específicas: se existem metas específicas a serem atingidas, o desempenho deve ser medido de acordo com essas metas. As metas devem ser estabelecidas pela própria instituição, mas também por outras instituições externas de relevância. 5. Benchmarking: O desempenho do programa deve ser comparado com o de outros programas relevantes quando possível. 6. Impacto sobre a comunidade: Deve ser medido e avaliado o impacto do programa sobre a comunidade, de maneira apropriada à missão do programa. 7. Desempenho financeiro: Dependendo dos arranjos institucionais, informações sobre o desempenho financeiro do programa, como custo por aluno e retorno sobre o investimento (em termos de tempo, esforço e financiamento) deve ser disponibilizada. 8. Impacto do Programa: Esforços regulares devem ocorrer para obter avaliações das organizações para as quais os indivíduos estão sendo formados e/ou treinados. Os resultados desses esforços de avaliação devem ser utilizados de maneira a ajustar a atividade do programa de formação e treinamento no sentido de melhorar sua efetividade e assegurar boas respostas. 13 Referências EAPAA (2006): Accreditation Criteria. European Association for Public Administration Accreditation (EAPAA) Electronic source retrieved March 24, 2007, from http://www.eapaa.org/criteria.htm. EFMD-EPAS (2006): EFMD Programme Accreditation System: Standards and Criteria (version 7, 31 May 2006). European Foundation for Management Development (EFMD). Electronic source retrieved June 26, 2006, from http://www.efmd.org/attachments//tmpl1_art_060516ecwh_att_060622xupz.pdf. ENQA (2005): Standards and Guidelines for Quality Assurance in the European Higher Education Area. Helsinki, European Association for Quality Assurance in Higher Education. 41 p. Bertucci, Guido (2007). "Strengthening Public Sector Capacity for Achieving Millennium Development Goals" in A. Rosenbaum & J.-M. Kauzya, Eds.: Excellence and Leadership in the Public Sector: The Role of Education and Training. New York, United Nations Department of Economic and Social Affairs / International Association of Schools and Institutes of Administration: p.1-8. Charih, Mohamed, Jacques Bourgault, Daniel Maltais, & Lucie Rouillard, (2007). "The Management Competencies of Senior Managers: A Look at Some OECD Countries" in A. Rosenbaum & J.-M. Kauzya, Eds.: Excellence and Leadership in the Public Sector: The Role of Education and Training. New York, United Nations Department of Economic and Social Affairs / International Association of Schools and Institutes of Administration: p.25-43. NASPAA/COPRA (2006): General Information and Standards for Professional Masters Degree Programs (January 2006 edition). National Association of Schools of Public Affairs and Administration (NASPAA). Electronic source retrieved March 23, 2007, from http://www.naspaa.org/accreditation/seeking/reference/standards.asp. Rosenbaum, Allan & John-Mary Kauzya, Eds. (2007): Excellence and leadership in the public sector: the role of education and training. New York, United Nations Department of Economic and Social Affairs / International Association of Schools and Institutes of Administration. Rosenbaum, Allan (2007): "Excellence in Public Administration Education: Preparing the Next Generation of Public Administrators" in: A. Rosenbaum & J.-M. Kauzya, Eds.: Excellence and Leadership in the Public Sector: The Role of Education and Training. New York, United Nations Department of Economic and Social Affairs / International Association of Schools and Institutes of Administration: p.11-24. Wooldridge, Blue (2007): "High performing schools and institutes of administration: the role of standards of excellence." in: A. Rosenbaum & J.-M. Kauzya, Eds.: Excellence and Leadership in the Public Sector: The Role of Education and Training. New York, United Nations Department of Economic and Social Affairs / International Association of Schools and Institutes of Administration: p.44-61. 14 A Utilização dos Padrões de Excelência Todos os critérios são novamente apresentados a seguir, agora com indicações do nível possível de cumprimento na forma de escala Likert. IMPORTANTE: os indicadores devem ser utilizados como indicações; não se trata de regras ou medidas objetivas e precisas de critérios. Podem existir outros indicadores do nível de cumprimento. A escala Likert pode ser utilizada para auto-avaliação de seu instituto ou programa, e como um início de um programa de melhoramento de qualidade. Os seguintes itens podem ser considerados: Com a ajuda dos envolvidos, responda as seguintes perguntas: 1. Com relação a sua missão, que critérios não são aplicáveis e por quê? 2. Se não tiver os recursos para uma avaliação completa de qualidade, selecione os critérios que sejam mais importantes para você e os envolvidos. 3. Para sua missão, que nível deve ser obtido ao menos em um critério? 4. Para sua missão, que outros critérios de avaliação devem ser considerados? Responda as seguintes perguntas: 5. Avalie sua instituição/programa de acordo com cada um dos critérios selecionados. Como justifica essa avaliação? Assegure-se de que ela seja baseada em evidências objetivas. 6. Em que critérios que o desempenho está abaixo da meta estabelecida? Quais são as possíveis causas pelo desempenho abaixo da meta? 7. Que medidas devem ser tomadas para melhorar o desempenho em cada um dos critérios? Em consulta aos interessados: 8. Decidam sobre que ações devem ser tomadas e comecem seu planejamento. 9. Implementem as ações como foram planejadas. 10. Avaliem os resultados de suas ações com regularidade e, quando necessário, adotem outras medidas. 15 Critérios para avaliar progresso nos Padrões no formato de Itens Escala-Likert Critério A. Padrões Institucionais de Excelência 1 Processo de Planejamento Estratégico 0 Não Existente 1 Nível Básico 4 Nível Intermediáro Não há qualquer tipo de planejamento estratégico O processo é implícito; existe a participação dos envolvidos O processo existe, mas é incompleto. Alguma participação dos envolvidos. 2 Estrutura Financeira e Orçamentária Não há estrutura orçamentária ou financeira Estrutura nãotransparente e ineficiente; controle marginal ou incompleto A estrutura é nãotransparente ou ineficiente; controle incompleto 3 Sistema para Assegurar Qualidade Não há garantia de qualidade para todos Existe alguma garantia de qualidade, mas não sistemática. Não há nenhuma participação dos envolvidos. Existe garantia de qualidade significativa, mas não sistemática. Nem todos os envolvidos participam. 4 Sistema de GRH Não há nenhum sistema de GRH O sistema de GRH é básico, (relacionado principalmente à remuneração) 5 Contribuição à Disciplina Docentes/ Funcionários não podem contribuir à Disciplina Quase nenhum Docente/ contribui para a Disciplina O Sistema de GRH está em desenvolvimento; somente alguns elementos estão disponíveis. Docentes/ Funcionários Contribuem para a Disciplina, mas não recebem apoio ou estímulo adequado para gerar e divulgar conhecimento. 7 Excelência Existe um processo completo e coerente de planejamento resultando em missão clara; todos os envolvidos participam. Existe uma estrutura orçamentária e financeira transparente onde os responsáveis por cada programa têm controle orçamentário claro. Existe um sistema adequado (contínuo, circular e abrangente) e formalizado de garantia de qualidade (estratégia, política e procedimentos) em que a participação dos envolvidos está garantida. Esse sistema está disponível publicamente. O Sistema de GRH abrange todos os elementos relevantes. A Equipe/Docentes recebe apoio e estímulo adequados para gerar e divulgar novos conhecimentos na disciplina de administração pública. 16 6 Diversidade Social e Cultural Não há nenhum tipo de atenção à diversidade social e cultural Quase não há atenção à diversidade cultural e social Existe alguma atenção à diversidade social e cultural, mas não está ligada à política de pessoal A política e a prática de pessoal refletem a diversidade social e cultural. 7 Conta com instalações de bibliotecas, equipe de suporte, salas de aula, equipamentos, sistemas informatizados e salas para docentes, e (se aplicável) facilidades de hospedagem. As instalações são acessíveis aos Portadores de Necessidades Especiais. Quase todas as instalações são insuficientes Algumas instalações são suficientes, mas a maioria não é. Muitas instalações são adequadas, mas não todas. A maioria não é acessível aos Portadores de Necessidades Especiais. Todas as instalações são adequadas e acessíveis aos Portadores de Necessidades Especiais. 8. Serviços ao Estudante Não existem serviços Somente alguns serviços disponíveis, mas de baixa qualidade Alguns serviços são adequados; outros não estão disponíveis ou são de baixa qualidade Os alunos dispõem de um completo sistema de serviços 9. Relações Públicas Não há relações públicas Somente pouca informação está disponível Alguma informação está disponível, mas não é sempre adequada ou correta. Não há informação sobre o desempenho da instituição facilmente disponível. Existe um sistema de relações públicas com informações adequadas, corretas e objetivas sobre as tarefas, objetivos e estruturas da instituição, os programas oferecidos e seus custos, os prêmios oferecidos e o desempenho da instituição. 10. Queixas Não há possibilidade de apresentar queixas As queixas podem ser apresentadas, mas não há sistema O desempenho da instituição não pode servir de exemplo O sistema para lidar com reclamações é incompleto Existe um sistema adequado (justo, acessível) para lidar com queixas. O desempenho da instituição não serve de exemplo em todos os aspectos e/ou não é fácil de observar A instituição é uma organização pública exemplar 11. Função exemplar 17 A instituição não compara seu funcionamento com o de outras organizações de excelência A instituição compara seu funcionamento com outras organizações de excelência em somente alguns aspectos A instituição compara seu funcionamento com o de outras organizações de excelência Não há processo de desenvolvimento e revisão de programa Existem alguns elementos de um processo de desenvolvimento e revisão de programa. Alguns envolvidos participam. O processo de desenvolvimento e revisão de programa é inadequado e/ou incompleto. Nem todos os envolvidos participam. Existe um processo de desenvolvimento e revisão de programa adequado e todos os envolvidos participam. 2 Metas e objetivos do Programa Sem metas e objetivos implícitos ou explicitados Somente metas e objetivos implícitos no programa; nenhuma participação dos envolvidos Metas e objetivos são explicitados, mas não operacionalizados menos; alguns envolvidos participam. Metas e objetivos são explicitados e operacionalizados em competências ou resultados de aprendizado; todos os envolvidos participam. 3 Estratégia educacional Nenhuma estratégia educacional Docentes/ funcionários utilizam alguns métodos de ensino diferentes; não há estratégia Existe alguma estratégia educacional. Diferentes métodos de ensino são utilizados por toda a equipe/docentes. Com base nas metas, objetivos, nível e público alvo, uma estratégia educacional adequada é delineada. Abordagem especial é dada ao equilíbrio entre teoria e prática; a utilização de múltiplos métodos de ensino é realizada; os métodos de ensino utilizados são baseados em experiência na medida do possível. Quando elementos de elearning são utilizados no programa, atenção especial lhes é 12. Benchmarking B1 Desenvolvimento e Revisão de Programa 1 Processo de Desenvolvimento e Revisão de Programa 18 concedida. 4 Desenho do Programa Não há relação entre as metas, objetivos e estratégia educacional e o programa A relação entre metas, objetivos e a estratégia educacional e o programa é um tanto genérica As metas, objetivos e estratégia educacional são traduzidos num programa, mas não podem ser relacionadas com os componentes, horários, tarefas e avaliações do programa 5 Coerência e consistência do programa O programa consiste de um grupo solto de componentes não-relacionados O programa não é coerente, nem consistente e impraticável O programa é coerente, consistente e praticável; mas não está clara a relação, por um lado, entre as competências e os resultados de aprendizado e, por outro lado, os elementos, tarefas e avaliações do programa. 6. Corpo Docente do Programa Não há docentes/ funcionários visivelmente envolvidos Docentes e funcionários em número E qualidade inadequados Docentes e funcionários em número OU qualidade inadequados Docentes e funcionários adequados em todos os aspectos qualitativos e quantitativos. Profissionais ensinando no programa são adequadamente preparados. 7. Tamanho do Corpo de Docentes e Funcionários Não há docentes nem funcionários visivelmente envolvidos O número de docentes/equipe principal responsável pela parte central do programa de concessão de grau é menos de cinco O número de docentes/equipe principal responsável pela parte central do programa de concessão de grau é quase cinco O número de docentes/equipe principal responsável pela parte central do programa de concessão de grau é pelo menos cinco 8. Envolvimento em Pesquisa Não há docentes/ funcionários visivelmente envolvidos Docentes/equipe responsáveis pela parte central do programa de concessão de grau não dedica quase tempo à pesquisa Docentes/equipe responsáveis pela parte central do programa de concessão de grau dedica algum tempo à pesquisa Os docentes/equipe responsáveis pela parte central do programa de concessão de grau dedica tempo significativo à pesquisa As metas, objetivos e estratégia educacional são traduzidos num desenho de programa que abrange todos os componentes, horários, tarefas e avaliações do programa. O programa é coerente, consistente e praticável. Está clara a relação, por um lado, entre as competências e resultados de aprendizado e, por outro lado, os elementos, tarefas e avaliações do programa. 19 9. Admissão ao Programa Nenhum critério de admissão Os critérios e procedimentos de admissão não são claros. Os critérios e procedimentos de admissão não são totalmente claros Os critérios e procedimentos de admissão são claros, transparentes e publicamente disponíveis O programa é um aglomerado solto de componentes Os componentes do programa não têm relação explícita com as metas e objetivos do programa 2. Nível do programa O conteúdo não está adaptado nem ao nível do grau nem ao público alvo O conteúdo está insuficientemente adaptado ao nível do grau e ao público alvo O programa é parcialmente coerente e consistente; a relação com as metas e objetivos ainda está implícita O conteúdo está adaptado ao nível do grau mas não ao público alvo O conteúdo do programa flui de maneira lógica das metas, objetivos, estratégia educacional; é coerente e consistente O conteúdo está adaptado ao nível do grau e ao público alvo 3. Exigências formais do programa O conteúdo não abrange quaisquer dos elementos prescritos nos requisitos para a certificação ou grau O conteúdo abrange raros quase nenhum dos elementos prescritos nos requisitos para a certificação ou grau O conteúdo não abrange todos os elementos prescritos nos requisitos para a certificação ou grau O conteúdo abrange os elementos prescritos nos requisitos para a certificação ou grau 4. Nível do programa Todos os componentes do programa estão desatualizados A maioria dos componentes do programa está desatualizada Alguns componentes do programa estão atualizados, outros não; os métodos não são baseados em experiência Todos os elementos do programa são de vanguarda, refletindo conceitos idéias, teorias e métodos aceitos internacionalmente; os métodos ensinados são baseados em experiência 5. Multidisciplinariedade O programa não é multidisciplinar O conteúdo do programa não reflete de maneira suficiente a base multidisciplinar da área de administração pública O conteúdo do programa reflete até certo ponto a base multidisciplinar da área de administração pública O conteúdo do programa reflete a base multidisciplinar da área de administração pública B2 Conteúdo de Programa 1 Coerência e consistência do programa 20 6. O Essencial da Administração Pública O programa não contém os elementos essenciais da disciplina de administração pública O programa contém alguns dos elementos essenciais da disciplina de administração pública O programa contém vários mas não todos os elementos essenciais da disciplina de administração pública O programa contem os elementos essenciais da disciplina de administração pública, como teoria legal e política, GRH, orçamento público, gestão de informação, desenho de política, implementação e avaliação, economia pública, comportamento e gerenciamento organizacional 7. Valores do Setor Público Não há qualquer referência aos valores do setor público em qualquer do programa Referências aos valores do setor público são feitas apenas casualmente no programa Em alguns componentes há referência explícita aos valores do setor público Os valores do setor público é um elemento explícito e integral de todos os componentes do programa 8. Habilidades do setor público O programa não facilita aos alunos aprenderem e treinarem as habilidades necessárias ao setor público O programa facilita aos alunos aprenderem e treinarem somente algumas habilidades necessárias ao setor publico O programa facilita aos alunos aprenderem e treinarem algumas mas não todas as habilidades necessárias ao setor publico O programa facilita aos alunos aprenderem e treinarem todas as habilidades necessárias ao setor publico 9. Natureza do setor público O programa não dá atenção adequada à natureza do setor público O programa quase não dá atenção à natureza do setor público O programa dá alguma atenção à natureza do setor público O programa dá atenção adequada à natureza do setor público Ninguém é responsável pelo programa Responsabilidade pelo programa não está clara e é dispersa Responsabilidade pelo programa está clara, mas o corpo docente do programa tem influência limitada Responsabilidade pelo programa está clara e o corpo docente tem influência importante Não há orçamento específico para o programa O orçamento para o programa (em termos de financiamento, pessoal e instalações) não é adequado para atingir as metas e objetivos O orçamento para o programa (em termos de financiamento, pessoal e instalações) não é inteiramente adequado para atingir as metas e objetivos O orçamento para o programa (em termos de financiamento, pessoal e instalações) é adequado para atingir as metas e objetivos B3 Gerenciamento e Administração do Programa 1. Responsabilidade pelo Programa 2. Orçamento do Programa 21 3. Administração do Programa Não há administração do programa A administração do programa é inadequada Há administração do programa mas não é totalmente adequada Há administração adequada do programa 4. Progresso dos alunos Não há administração adequada para o progresso dos alunos Há administração inadequada para o progresso dos alunos que não está disponível aos alunos Há administração adequada para o progresso dos alunos que não está disponível aos alunos Há administração adequada para o progresso dos alunos que está disponível aos alunos 5. Avaliação Não há avaliação do desempenho dos alunos O desempenho dos alunos não é avaliado adequadamente. Os alunos são avaliados utilizando critérios, regulamentações e procedimentos não-publicados. O desempenho dos alunos é avaliado em termos das competências obtidas. Os alunos são avaliados utilizando critérios, regulamentações e procedimentos publicados que são aplicados com consistência. 6. Informação sobre o programa É impossível para os alunos obter informação atualizada e adequada sobre mudanças de programa ou seu próprio progresso É difícil para os alunos obter informação atualizada e adequada sobre mudanças de programa ou seu próprio progresso O desempenho dos alunos é avaliado mas não em termos das competências obtidas. Os alunos são avaliados utilizando critérios, regulamentações e procedimentos publicados que são aplicados com consistência. Algumas informações são atualizadas e adequadas. Outras não. Nem toda a informação é de fácil acesso ou está prontamente disponível 7. Avaliação dos Docentes Não há avaliação clara dos docentes/ Os métodos didáticos dos docentes / funcionários não são avaliados Os métodos didáticos dos docentes / funcionários são avaliados de vez em quando Os métodos didáticos dos docentes / funcionários são avaliados regularmente. 8. Comunicação Não há comunicação entre as pessoas envolvidas. Existe um sistema inadequado de comunicação entre as pessoas envolvidas (alunos, professores, funcionários). Existe um sistema incompleto de comunicação entre as pessoas envolvidas (alunos, professores, funcionários Existe um sistema adequado de comunicação entre as pessoas envolvidas (alunos, professores, funcionários). Toda as informações sobre o programa são atualizadas, de fácil acesso e prontamente disponíveis. 22 9. Consistência na oferta No caso da oferta múltipla de cursos, a consistência na oferta não é garantida. No caso da oferta múltipla de cursos, a consistência na oferta é pouco garantida No caso da oferta múltipla de cursos, a consistência na oferta é parcialmente garantida No caso da oferta múltipla de cursos, a consistência na oferta é garantida 10. Monitoramento e revisão de programa Não há monitoramento do programa Quase não há monitoramento do programa O monitoramento é restrito à avaliação do curso; o processo de revisão, no entanto, é informal e vago; não há monitoramento do programa com um todo. Existe um monitoramento contínuo, circular e completo do programa e de seus componentes. Não há compilação de informação sobre desempenho Quase não há compilação de informação sobre desempenho Alguma informação sobre desempenho é compilada, mas não de maneira sistemática e/ou contínua. Um sistema completo e adequado de compilação de informação sobre desempenho funciona continuamente. A informação é utilizada na revisão do programa. 2. Satisfação Não há avaliação da satisfação com o programa A satisfação com o programa do ponto de vista dos envolvidos (alunos, graduados e empregados) é avaliada de maneira irregular e não inclui todos os envolvidos A satisfação com o programa do ponto de vista dos envolvidos (alunos, graduados e empregados) é avaliada de maneira irregular ou não inclui todos os envolvidos A satisfação com o programa do ponto de vista dos envolvidos (alunos, graduados e empregados) é avaliada de maneira regular 3. Informação básica de operação Não há nenhuma informação disponível Somente informação sobre número de alunos está disponível Informação sobre trancamentos e tempo médio de estudo está disponível Toda informação relevante está disponível e atualizada 4. Metas específicas A realização de metas específicas não é avaliada A realização de metas específicas quase não é avaliada A realização de algumas metas específicas é avaliada A realização de metas específicas é avaliada B4 Desempenho do Programa 1. Sistema de desempenho do programa 23 5. Benchmarking Não é utilizado A utilização é planejada para o futuro Alguma utilização é feita 6. Impacto sobre a comum idade Não há avaliação do impacto sobre a comunidade O impacto sobre a comunidade quase não é avaliado O impacto sobre a comunidade é avaliado mas de maneira incompleta 7. Desempenho financeiro Não há nenhuma disponibilidade dos indicadores de desempenho financeiro relevantes Não há quase disponibilidade dos indicadores de desempenho financeiro relevantes Informação sobre alguns dos indicadores de desempenho financeiro relevantes está disponível. A utilização é feita de acordo com todos os critérios relevantes de desempenho O impacto sobre a comunidade é avaliado Informação sobre todos os indicadores de desempenho financeiro relevantes está disponível 24